소시오톡
[수리사회학] Weapons of Math Destruction -Cathy O'Neil (2nd Part)
 
1
1
  133
Updated at 2017-06-15 10:55:52

 


WMD 책 Chapter 6-10 까지의 발제 내용입니다.


발제자 (서강대학교 사회학과 윤수린) 대신 업로드 합니다.

 



6. Ineligible to Serve - Getting a Job -


해당 chapter에서 저자는 구직자들이 노동시장에서 어떤 방식으로 Weapons of Math Destruction(이하: WMD)의 영향을 받는지에 대해 서술합니다. 

먼저, 회사들이 직원을 screening 하는 과정에 WMD가 개입됩니다.
❍ Five Factor Model / Personality Test
   - 많은 기업들이 채택하고 있는 screening tool입니다. 기업들이 다양한 채용 전형을 통해 구직자를 screen 한다 해도, 실제 해당 구직자의 업무역량을 정확히 알기 힘듭니다. 따라서 많은 기업들은 대리변수(proxy)에 의존하게 됩니다.  
   - 공평성, 적법성은 일단 제쳐 두더라도, 이와 같은 personality test(PT)로는 개인의 업무성과를 예측하기 힘듭니다. 경험적 연구에 의하면, 여러 selection process를 검증한 결과 PT는 인지능력시험 및 reference check에 비해 구직자의 역량에 대한 예측력이 낮은 편입니다.
   - 그렇다고 해서, PT가 기업환경에서 전혀 쓸모없는 tool은 아닙니다. 해당 tool은 직원들이 그들 자신의 팀웍 활동 등에 대한 통찰력을 얻기에 유용합니다. 또한 기업 입장에서 직원들의 행복을 위한 조직문화를 조성하는 데에도 활용될 수 있습니다. 그러나, 현실적으로 PT는 지원서를 ‘거르기 위해’ 많이 사용되는 편입니다.
   - PT는 채용시장에서 흔하게 쓰이며, 치명적인 feedback loop이 있다는 점에서 WMD라고 할 수 있습니다. 특히 minority 및 여성들에게 피해를 주는 사례가 많습니다.

‘인사이더’ 중심으로 형성된 노동시장은, WMD의 영향력을 가중시킵니다.
❍ Phony resume 실험
   - 미국에서 가짜이력서를 기업들에게 뿌리고, 연락이 오는 비율에 대해 조사한 연구가 있습니다. 결과는 백인이 다른 인종에 비해 50% 더 많은 연락을 받았습니다(특히 talent 중심으로). 그러나 유색인종은 개인의 역량과 경쟁력과 관계없이 연락이 거의 오지 않았습니다.
   - 채용 시 이런 문제를 해결하기 위해 Blind Test가 대안이 될 수 있으나(e.g. 오케스트라 사례), 일부 직업에만 적용되는 한계가 있습니다. 
❍ 효율성 중심의 직원 screening
   - 기업들은 효율성 중심의 직원 채용을 지향해 왔습니다. 인사담당자는 지원자들을 거르기 위해 필터링 등의 자동 시스템을 적극 활용합니다.

직원 채용 시, 자동시스템은 인간이 적용한 로직에 의해 인간이 했던 차별을 그대로 따라하게 됩니다.
❍ St.George hospital의 사례
   - 해당 병원은 지원자가 많아지자, screen해야 하는 지원자의 수를 줄이려는 시도를 했습니다. 이를 위해 자동화 이전에 사람이 지원서를 분류했던 방식을 자동화 로직에 그대로 적용하였습니다. 대표적인 예로 이름을 기준으로 필터링하는 것으로서, 미국식/영국식 이름이 아닌 경우 필터링을 적용하거나 또한 성별로 필터링 하는 것입니다. 결과적으로 특정 지역 출신 및 많은 여성들에게 인터뷰의 기회가 주어지지 않았습니다.
   - 해당 병원은 이와 같은 결과를 합리화합니다. 즉, 다른 지역에서 온 지원자들의 경우 언어 사용이 우려되며, 여성의 경우 결혼 후 육아 문제 등으로 업무 몰입도가 떨어질 수 있다는 것입니다. 저자는 충분히 경쟁력 있는 후보임에도 불구하고 이와 같은 부당한 이유로 취업의 기회가 주어지지 않는 것은 매우 비합리적이며, 병원에서 해당 인력의 언어능력과 childcare가 신경 쓰인다면, 사후적으로 이들의 어려움을 돕는 것이 바람직하다고 주장합니다. (언어 수업 과정을 개설하거나 육아를 적극 지원하는 등). 결국, 어떤 사람을 채용해서 육성할지에 대한 것은 병원의 의지와 관련이 있는 것입니다.

필터를 사용하는 목적: 비용의 최소화
❍ 근속기간
   - 많은 HR부서들은 직원 채용은 물론 직원 관리에 소요되는 비용을 최소화하려 합니다.  가장 큰 비용은 직원의 ‘퇴직'이며, 평균적으로 직원 연봉의 20%가 소요됩니다. 고급직종의 경우 희소성 때문에 소요 비용이 더 심한 경향이 있습니다. 결국 채용하려는 직원이 ‘얼마나 오래 근속하는가’가 관건이라 할 수 있으며, 이를 위한 흔한 지표는 전 직장의 근속기간입니다.
   - 한편, 근속기간과의 상관관계에 있어서 거론되는 변수는 통근거리임이 밝혀진 바 있습니다. 즉 통근거리가 길수록 근속기간이 짧을 확률이 높다는 것입니다. 그러나 통근거리가 긴 경우 소득이 낮은 지역에 거주할 가능성이 높다는 점에서, 이를 proxy로 사용하는 것은 논란의 여지를 남깁니다. 제록스 같은 회사는 채용에서의 효율성을 희생하면서 해당 변수를 삭제했다고 합니다.

Originality and Social Skills를 함양한 직원을 채용하기 위해…
❍ 보다 광범위한 데이터 확보 및 도전적 모델 필요
   - 레쥬메 상의 학벌, 수상경력, 스킬 등 흔히 사용하는 proxy로는 originality와 social skills 함양 여부를 알기 힘들기 때문에, 보다 광범위한 데이터의 확보 및 도전적 모델이 필요합니다.
   - 샌프란시스코의 한 start-up은 잠재 취업자의 social data를 분석하기 위해 social capital을 계량화하고 질을 평가합니다. 이로써 해당 인력이 컨택하는 사람들의 skill 및 사회적 중요성 평가가 가능하다고 본 것입니다. 그러나 여전히 확실한 data를 확보하기는 어렵습니다. 많은 경우 넓은 정보의 바다에 ‘큰 그물’을 던져서 딸려 나오는 다양한 정보들을 활용하는데 그치고 있습니다. 한편, 이러한 채용 관련 모델은 지속적으로 발전 중입니다.
   - 다만, 이와 같은 노력은 직원 채용의 효과성 증진을 위한 의미 있는 test가 될 것인지, 아니면 단순히 현 상황을 강화할 것인지에 대한 성찰이 필요합니다. 즉 채용 절차가 과거의 비합리적인 ‘관상학’으로 전락하지 않도록 노력이 필요합니다.





7. Sweating Bullets - On the Job -

해당 chapter에서 저자는 구직자들이 채용된 이후에 어떤 방식으로 Weapons of Math Destruction(이하: WMD)의 영향을 받는지에 대해 서술합니다. 

기업들의 인건비 절감을 위한 각고의 노력
❍ Minimal staffing
- 기업들은 인건비 절감을 위해 고용인원을 최소화 합니다. 특히 서비스 직종에서 많이 나타나는 ‘Clopening(closing+opening)’ 운영 방식으로(밤 늦게 매장을 닫은 후 몇 시간 후 아침 일찍 매장을 여는 방식) 직원들의 불규칙한 스케줄의 일상화를 초래해 왔습니다. 해당 관행이 기사화 된 후, 기업들은 사회 인식을 감안하여 clopening을 얼마간 줄이는 듯 하다가, 1년 후 다시 제자리로 돌아왔다고 합니다.
- 사실 이와 같은 유연하고 불규칙한 근무체계는 서비스 매장 운영 방식 관련하여 이미 문화적으로 자리 잡은 행태라 할 수 있습니다. 지역별로 매장의 매니저가 관리해야 하는 labor budget은 일정하며, 각 매니저들은 해당 예산 하에서 모든 staffing을 관리해야 하기 때문입니다. 이처럼 최소의 자원으로 최대의 이익을 창출하기 위한 노력은 operation research의 발달을 촉진하였으며, scheduling software의 개발 및 일본의 Just in Time 운영 방식과도 밀접한 관련이 있습니다.
- 한편, 직원들이 가장 두려워하는 것은 노동력의 oversupply입니다. 내가 다른 사람에 의해 대체될 확률이 높아질수록 나의 bargaining power는 하락하며 해고의 위험도 높아지기 때문입니다.

❍ Scheduling Software = WMD!
- 이와 같이 Scheduling Software는 광범위하고, 직원들을 이용하며, 불투명하고 부정적인 피드백 효과를 야기하므로 WMD라 정의될 수 있습니다. 해당 소프트웨어에 의해서 직원들은 회사의 스케줄에 순순히 따라야 하며, 이는 직원 뿐 아니라 직원들의 자녀들에게도 악영향을 미치게 됩니다. 결국 문제의 근원은 단지 인사관리를 하는데 있어서 효율성과 이익률에 그 목적이 있다는 것입니다. 저자는 이와 같이 효율성을 빌미로 WMD를 남용하는 사례에 대해 사회적으로 적극 홍보하고 알림으로써 재발방지에 기여해야 한다고 주장합니다.
 
조직 관리를 위한 다양한 방법들
❍ Rating system for tech worker
- 한 회사는 조직관리를 위해 전문기술직 근로자들이 가진 소셜 네트워크 분석 시스템을 개발한 바 있습니다. 즉 특정 직원이 얼마나 혁신적인 아이디어를 활발히 공유하는지에 대해 분석한 시스템을 조직관리에 적용하고자 하였습니다. 문제는 이와 같은 데이터 연구는 인력을 정리하는 데에도 쓰인다는 것입니다. 과연 이 모델이 직원들의 soft skill을 얼마나 효과적으로 반영할 수 있을까요? 아무리 혁신적인 아이디어를 가지고 있다 해도, 이를 직원들과 공유하는데 소극적인 태도를 보이는 경우 해당 인력은 도태될 수 있습니다. 게다가 실제로 해당 인력이 정리가 된 후에는, error feedback을 받을 수 없기 때문에(해당 인력은 더 이상 그 회사에 남아있지 않으므로) 시스템이 더 스마트해질 수 없습니다. 해당 모델은 직원에 대해 오해 및 처벌을 야기하므로 WMD가 될 확률이 매우 높습니다.
교사 평가 
❍ SAT 점수의 하락 – 교사의 책임?
       - 미국이 SAT 점수를 중시하면서, 교사 평가에 해당 학급의 SAT 점수를 반영해야 한다는 정책이 제시된 바 있습니다. 그러나 이 정책에는 몇 가지 문제가 있는데, 대표적인 것이 “Simpson’s paradox”, 즉 평균이 불러오는 착각을 무시했다는 것입니다. (평균이 높다고 해서 해당 집단의 역량이 뛰어난 것은 아님). 또한, 한 학급에 기껏해야 25-30명인데, 이 결과를 전체 모집단의 결과와 단순 비교하는 것도 타당하지 않습니다. 게다가, 피평가자인 교사들은 이러한 로직에 대해 알지 못한다는 문제가 있습니다.




8. Collateral Damage - Landing Credit –

해당 챕터에서는 개인이 신용을 획득하는데 있어서도 WMD가 적용된다는 것을 여러 사례를 제시하여 설명합니다.

잠재적 채무불이행자를 어떻게 예측할 것인가?
❍ 고객의 채무불이행을 예측하기 위한 모델
- 신용 관련 기업 및 기관에서 가장 관심을 갖는 모델은 ‘어떤 사람이 채무불이행을 할 것인지’ 예측하는 모델일 것입니다. FICO와 같은 회사는 채무자의 빚의 규모와 납부기록에 근거하여 모델을 개발하였으며, 이는 투명한 피드백 과정을 가집니다.
❍ zip code, internet surfing 등 더 많은 변수를 포함한 모델
- 개인의 credit 정보를 기반으로 마케팅을 하는 것은 불법이기 때문에, 다른 proxy를 가지고 마케팅을 하는 경우가 많습니다. 일례로 zip code 또는 인터넷 검색 기록 등 더 많은 변수를 포함한 모델도 성행하고 있습니다. 이와 같은 모델은 신뢰할 수 없고, 규제되지 않으므로 WMD라 할 수 있습니다.

Bucketing People
❍ 기업들은 ‘Bucketing’으로 사람들을 특정 기준으로 분류하여 서비스의 효율성을 높이려 합니다.
- 그러나, 어떤 사람이 특정 그룹으로 잘못 오인되는 경우에는, 이로 인해 파생된 문제를 바로잡기 힘듭니다. 특히 사회적 약자는 이를 바로잡기 위한 자원이 부족합니다. 즉 부차적 피해(Collateral Damage)에도 노출될 확률이 높습니다.
❍ 문제는, credit report 또한 다른 분야의 proxy로 작용한다는 것입니다.
- Credit이 높은 사람이 직장에서 성실할 것이라는 가정이 흔하게 적용되는 편이며, 특히 채용 시 이런 proxy가 적용될 경우, 신용도가 낮은 사람들에게 채용의 기회마저 제한적으로 주어져 poverty cycle을 생성하게 됩니다.

Mistake pop up everywhere
❍ 정보의 오류는 흔하게 발생되는 편
- 2013년 한 보고서에 의하면, 5%의 소비자의 신용 정보에 오류가 있었다고 합니다.    이와 같은 오류는 이자비용에 영향을 줄 정도였습니다. 그러나, 최소한 이런 정보들은 확인 후 수정이 가능합니다. 문제는 데이터 경제에서 규제되지 않는 부분입니다. 많은 데이터를 다루다 보면 오류가 발생하기 마련이고, 고객 혹은 채무자가 개인정보에 접근할 수 있다 해도 알려지지 않은 특정한 기준에 의해 분류되어있기 십상이므로 직관적으로 정보를 파악하기 어렵습니다.
- 동일 날짜에 태어난 동명이인을 거르지 못하는 것은 automatic process에서 흔한 일입니다. 이를 끝까지 파헤치고 수정하려는 소수의 사례가 존재하지만, 대부분의 경우에는 그냥 모른 채로 지나치게 됩니다.

WMD의 강화
❍ Fine-tuning
- Error가 발생하게 되면, error의 근원이 무엇인지 적극적으로 밝혀내고 수정하려 하기보다, 알고리즘을 단지 fine-tune하려는데 집중하는 사례가 많습니다. 즉 이와 같은 error가 교훈으로서 작용해야 하는데, 현실에서는 injustice가 지속되게 됩니다.
❍ 우리(사람)의 역할
- 이런 이슈를 다루기 위해서는 automatic system에 의존해서는 안 될 것입니다. 저자는 사람만이 정의를 위한 조정이 가능하다고 강조합니다. 비록 사람도 불완전한 존재라, 1950년대에 피부색을 보고 신용을 판단하려 했던 paradox가 존재한다는 문제가 있지만요. 현대의 자동화 알고리즘은 그와 같은 편견을 더 쉽게 적용하기 위한 것에 불과하지만, 그렇다고 이런 이슈를 그냥 시장에 맡겨버리면 문제해결이 어려워질 것입니다.

과연 피부색으로 고객의 신용도를 판단하던 1950년대와 다른 점이 있는가?
❍ 일부 신용회사의 시도
- 각종 규제를 피해서 이익을 취하려 하는 금융회사들이 많지만, 일부 회사의 경우 불확실한 proxy에만 의존하기보다 실제 고객의 payment 기록을 사용하고, 또한 다른 금융회사처럼 폭리를 취하진 않는 모델을 시도한 바 있습니다. 그러나 해당 모델은 고객의 맞춤법 등을 통해 교육 수준을 예측하고, 이에 따라 낮은 신용을 부과한 바 있습니다. 분명 불확실한 proxy로만 점철된 알고리즘보다 나은 점이 있지만, WMD의 한계를 벗어나지 못하고 있습니다. 결국 1950년대에 피부색으로 신용도를 판단하던 banker들과 본질적으로 크게 다르지 않습니다.





9. No Safe Zone - Getting Insurance –

해당 챕터에서 저자는 보험에 가입 시 WMD가 적용되는 실태를 설명하고 있습니다.

인과관계와 상관관계의 혼동
❍ Hoffman’s Analysis
- 19세기 말 유명한 통계학자 Hoffman은 미국의 흑인들은 위태로운 상황에 처해 있기 때문에 보험 대상자가 될 수 없다는 주장을 폈습니다. 그러나 Hoffman은 흑인을 전체로만 뭉뚱그려 하나의 집단으로 가정하고 세부 집단으로 구분하지 않았다는 점에서 오류를 범하였습니다. 이러한 Hoffman의 주장은 Redlining(특정 경계지역 지정) 촉진과도 관계가 있습니다, 현재는 법에 의해 redlining이 저지되고 있으나, 더 미묘한 형태로 일상생활에 남아있습니다. 이러한 컨셉은 가난한 사람들, 특히 특정 인종 및 소수인종을 처벌하는 기제로 쓰입니다.  

Insurance – not individual
❍ 보험은 예나 지금이나 개인에 초점을 맞추진 않습니다.
- 개인의 미래에 대해 예측하지는 못하지만, 집단 내의 사고율, 화재율, 사망률 등을 예측하며 발전해왔습니다. 한편, 최근에는 개인의 생활패턴 추적으로 일반화의 위험을 낮추며 customized service를 제공하고 있습니다.
- 그러나, 이러한 customized service는 보험회사들의 bucketing 에 기반 한 것이며, 본질적으로 “개인적”이라 볼 수는 없습니다.
- 무엇보다, 개인은 본인이 어떤 그룹에 속해있는지 알 수 없습니다. (opacity)

전혀 상관없는 proxy에 의존하는 자동차보험
❍ 자동차보험회사들은 ‘책임감 있는’ 운전자를 구별하기 위한 proxy로서 e-score를 적극적으로 활용하고 있습니다.
- 그러나 e-score는 운전자 기록보다 더 많은 것들을 포함합니다. 결과적으로 ‘얼마나 안전운전을 하느냐’보다 ‘어떻게 자금운용을 하느냐’를 더 중시하게 되어 버립니다. 실제로 가난하지만 안전운전을 해온 운전자가 음주운전 경력이 있지만 신용도가 높은 운전자보다 보험료를 $1,552 더 지불한 사례가 있습니다.



       
- 즉, 책임감 있는 운전자를 구별하기 위한 보다 관련 있는 데이터가 있음에도 불구하고, 상관없는 proxy에 의존하는 것이 문제입니다. 주된 이유는 보험회사의 ‘이익’이라 할 수 있습니다.
- 일부 회사의 경우 더 낮은 금액으로 사려는 동기가 없는 사람들에게 더 높은 금액을 부과하기도 합니다. 결과적으로 더 간절하고, 정보를 모르는 사람들을 착취하게 됩니다.


Surveillance – You are being watched!
❍ 트럭회사들의 정보 수집
- 트럭회사들은 트럭 운전자들의 개별적 운전 행위에 대한 데이터를 수집하는데, cost reduction을 위한 다른 정보(e.g. 어떤 루트로 가야 연료가 절약되는지) 또한 같이 수집합니다. 그러나 다른 정보, 특히 지리적 요인이 고려되면, 가난한 운전자들이 피해를 볼 수도 있습니다. 개인적 행동을 추적하는 경우에도 특정 집단을 다른 집단과 비교하여 일반화 합니다. (“Who act in similar ways”)
- 이러한 감시는 많은 경우 사전 동의를 받습니다. 감시에 동의하는 경우에는 가격인하가 적용되며, 인하된 가격은 감시에 동의하지 않는 운전자가 고스란히 떠맡게 됩니다. 즉 사생활도 사치재가 될 위험이 있습니다. (“Privacy becoming a luxury”)

‘오직 기계만이 해당 로직을 알고 있습니다’
❍ 보험회사들은 고객들을 ‘비슷한 행동 집단’으로 분류
- 전통적인 인종, 나이, 성별 등이 아니라 ‘machine’에 의한 분류까지도 포함합니다.
- 한 회사는 기계 스스로 이동의 패턴을 찾아내는 알고리즘을 개발했습니다. 알고리즘이 적용되는 과정을 visual하게 참고할만한 링크는 다음과 같습니다.
     


  문제는 이 회사 관계자들도 해당 알고리즘의 작동 방식에 대해 정확하게 모른다는 것입니다. 미래에는 앞서 논의한 behavioral data가 AI 시스템으로 반영될 것인데, 이때도 인간의 눈에는 많은 부분이 blackbox로 인식될 것이며, 많은 변수들은 미스터리로 남을 것입니다. 이는 효율적인 한편 추상적이며, 신뢰할 수 없는 알고리즘으로 작동될 것입니다.

누구를 위한 Wellness?
❍ 기업에서의 Healthcare
- 최근 많은 기업들은 직원들의 건강을 챙긴다는 명목으로 직원들에게 wellness (wellbeing+fitness)를 강조하고 있습니다. 그러나 이 과정에서 직원들 대상의 간섭 및 강압은 무시할 수 없는 수준입니다.
- 어떤 보험회사는 직원들의 health 포인트를 적립하도록 하고, health data를 회사와 공유합니다. 이에 참여하지 않는 직원들은 패널티를 물어야 합니다.
- 미국에서 개인의 수면패턴, 걸음걸이와 같은 정보는 법에 의해 보호받지 못하기 때문에 기업들은 법적 제재 없이 공공연히 이러한 데이터를 열람하고 이용합니다.
- 게다가 많은 기업들은 수학적으로 엉터리 모델로 판명된 BMI 지수를 활용하고 있습니다. 직원들에게 단순히 offer하는 것은 문제가 되지 않으나, ‘명령’하기 때문에 더 문제라 할 수 있습니다. 또한 이러한 시도는 실질적으로 혈압, 혈당, 콜레스테롤을 낮추지 않습니다.
- 이러한 모델은 ‘불투명하지는 않다는 점에서’ Full WMD는 아니지만, 그렇게 될 가능성이 농후하다고 볼 수 있습니다.





10. The Targeted Citizens - Civic Life –

해당 챕터는 WMD에 의해 위협받는 민주주의에 대해 다루고 있습니다.

Can FB game the Political System?
❍ 페이스북과 선거
- Facebook의 실험: 몇 년 전 선거기간에 ‘I voted’ 캠페인 실시 (“I voted” 버튼을 본 20%의 이용자가 “I voted” 클릭)
      


- 또한 정치에 연관된 200만명 대상으로 ‘진지한 뉴스’ 비율을 높이며 알고리즘을 바꾸었더니, 투표율이 64%에서 67%로 증가한 사례도 있습니다. 
- 선행연구에 따르면 페이스북에서 사용자들 간 감정전이가 일어날 수도 있습니다. 저자는 ‘만약 투표날 페이스북에서 이와 비슷한 조작을 시도한다면?’ 등의 무서운 가정도 언급합니다.
❍ 전통적 매체 vs 페이스북
- 전통적 매체인 신문이나 TV는 editor의 의도를 비교적 쉽게 알 수 있으며, 투명한 편입니다. 예를 들어 해당 신문이 오늘 자 1면에 왜 특정 사진을 실었는지에 대해 대략적 의도를 파악할 수 있습니다. 반면 FB 플랫폼은 스케일 및 영향력이 크고, 불투명하기 때문에 (구글도 마찬가지). 아직까지 WMD라 규정하기에는 위험한 부분이 있으나, 추후 WMD가 될 가능성이 있습니다.   


Targeting Campaign
❍ Targeting Campaign의 시도
- 정치권에서는 유권자의 성향에 따라 달리 캠페인을 적용하는 ‘targeting campaign’이 활성화되어 왔습니다. 미국의 Mitt Romney는 이 과정에서 곤욕을 치뤘습니다. 본인의 지지자들 및 기부자들로만 이루어진(것으로 믿었던) 별장에 초대받아 복지에 기대는 국민들에 대한 험담을 했는데, 알고 보니 해당 별장에서 catering을 담당한 ‘outsider’가 연설 내용을 찍어서 일파만파 퍼진 바 있습니다. 궁금하신 분은 아래 링크를 보시면 됩니다.  


- 정치인들은 유권자들에 대해 더욱 디테일한 접근을 시도하며, sub-group으로 나누어 메시지를 각각 다르게 전달합니다.
❍ 유권자 분류
- 특정 물품을 쇼핑하도록 유도하기 위해 소비자들의 소비패턴을 분석한 한 데이터 사이언티스트가 targeting campaign을 위한 프로젝트에 참여한 바 있습니다. 그러나 정치판에는 쇼핑카트처럼 ‘확실한’ 데이터가 거의 없기 때문에, Proxy를 찾기 위해 노력하게 됩니다. 미국 투표자의 프로필을 개발하고 (잠재적 투표자, 자원봉사자, 기부자 뿐 아니라 특정 이슈에 대한 입장에 따라 분류), big five 성격테스트도 활용하게 됩니다. 이런 식으로 유권자를 분류 후 유권자의 입맛에 맞는 각각의 공약을 남발하는 일이 빈번하게 발생합니다.

위협받고 있는 민주주의
❍ Microtarget
- 인구, 사회, 경제, 소비 형태에 따라 특성유형으로 분류하는 microtargeting이 더욱 흔해지고 있습니다.
- Targeting campaign을 둘러싼 시장은 financial market과 비슷합니다 (많은 정보량, 오르락내리락 하는 가치, 투자의 중요성 등 금융시장과 비슷한 특성이 강조됨)
- 문제는 이런 메커니즘이 우리의 시민생활에도 영향을 미치고 있으며, ‘조용한 캠페이너’(Quieter Campaigners)가 취약계층을 공략하는 사례가 빈번해지고 있습니다. TV 광고 또한 microtargeting 으로 변모 중입니다.

❍ 정보의 비대칭성 => WMD! (vast, opaque, unaccountable)
- 이런 Microtargeting 수법은 특히 절박하게 생존경쟁을 해야 하는 집단에 악영향을 미칩니다. 유권자들은 빈부에 상관없이, 권리가 박탈되는 느낌을 받고 있습니다(targeted voter가 아니면 무시되는 느낌)
- 조작을 위한 용도로 해당 모델을 적용하는 게 아니라, 특정 정책에서 누가 이익을 보고 있으며, 이런 이슈를 찾아내는 방법을 위해 활용해야 합니다. 결국 모델을 사용하는 목적이 무엇보다 중요하다고 할 수 있습니다.




Conclusion

WMD is feeding on each other
❍ WMD의 세계에서 가난하다는 것은, 더 위험하며 더 돈이 많이 든다는 것을 의미합니다.
- 드러나지 않는, 개인단위의 targeting이 늘어나고 있으며, 이런 악영향은 중산층에게도 영향을 미치고 있습니다. 그러나, 이를 바로잡기 위해 시장논리에 의존할 수 없습니다.
- 기업들은 자신들의 이익에 따라 인사원칙을 바꿉니다. 이익을 남기기에 필요한 것에만 집중하며, 이 과정에서 ‘공평’은 부차적인 결과일 뿐입니다. 결국 WMD는 기업들이 이익을 남기는데 기여하게 됩니다.
       - 한편, 이로 인한 피해자들은 정치적으로 소외되고, 목소리를 낼 기회를 제한받게 됩니다.
       - 이런 피해는 가난한 사람들에게만 적용되지 않습니다. 충분히 역량 있는 구직자 및 microtargeting의 대상이 되는 상류층에게도 피해가 적용됩니다. 
Human vs Automated System
❍ 우리 모두는 WMD의 피해를 받을 수 있습니다.
- 우리(Human)가 조치를 취할 때 까지 지속적으로 증식되며 불평등을 양산할 것입니다.
❍ 한편, 사람의 의사결정은 때때로 잘못되기도 하지만, ‘진화'한다는 장점이 있습니다.
- 즉 사람은 배우고, 적응하며, 변화합니다. (우리가 만들어나가는 과정도 포함)
❍ 반면, 자동시스템은 엔지니어가 조정하기 전 까지는 멈추어있습니다. 
- Big Data 과정은 ‘과거’를 고려할 뿐, 미래에 투자하지는 않습니다. (사람만이 할 수 있음)
❍ 20세기 들어서 인류 사회에 많은 발전이 있었지만 반면 아동 노동 등 끔찍한 면도 발생해 왔습니다. 여태까지 저널리스트 등의 활약 이후 정부가 개입하고, 상황이 더 나아진 측면도 있다는 것을 인지해야 할 것입니다.

어떻게 WMD로부터의 피해를 최소화할 수 있을까?
❍ 모델러 스스로가 Mathematical model을 규제해야 함.
- 의사들이 하는 히포크라테스 선서? 그러나 이런 가치와 규제는 양심 있는 사람들에게만 유효하다는 단점이 있습니다. 그리고 현장에서 즉각적인 답을 요구하는 압박에서 자유롭지 않습니다.
❍ 규제 기준 필요: 성공을 측정하는 방식을 재평가해야 함.
- 현재의 흔한 성공기준은 이익률, 효율성, 채무불이행률 등 양적인 가치 위주입니다. 한편 사회적으로는 가난한 사람들이 잘못된 정보에 의해 호도되며, 이는 시스템 낭비를 야기하게 됩니다.
- WMD를 규제하는 시스템은 이런 숨겨진 비용을 측정해야 하며, 또한 질적인 가치도 포함해야 합니다. (non-numerical) “fairness, common good” 예를 들어 해당 유권자, 소비자 집단이 다양한 민족이나 소득수준을 대표하고 있는지 확인해야 합니다. 이는 다소 거친 접근 방식이지만, 필수적인 과정입니다.
- Mathematical models should be our tools, not our masters
❍ Techno-utopia에 대한 기대를 버려야 함
❍ WMD의 각 영향력을 측정하고, 알고리즘을 감사(audit)해야 함
- WMD를 블랙박스라 가정하고 연구해야 하며, 공평하지 않은 시스템은 과감히 버려야 합니다. 또한 모델이 지속적으로 발전할 수 있도록 positive feedback loop을 고려해야 합니다.
- 어떤 사람들은 “공평성을 위해 정확성을 포기해야 하는가?”라 반문할 수 있습니다. 저자는 평등과 민주주의를 고려한다면 공평성을 더 중시해야 한다고 언급합니다.

A Seed of Hope
❍ 앞에서 언급한 ‘알고리즘의 감시’는 이미 진행 중
   - 한편, 구글과 FB과 같은 거대 기업은 outsider의 audit을 배제하지 말아야 합니다.
❍ A good starting point
- 고객들이 신용정보를 열람할 수 있게 하거나, 인종이나 성을 점수에서 고려하지 않는 것도 시도되고 있습니다.
- 그러나 더 발전되기 위해서는 투명성을 강화하고, 새로운 신용 관련 회사에 규제를 적용해야 합니다.
❍ European model 참고
- 유럽의 경우 정보 수집에 대한 Opt-in(사전동의)가 의무이며, 한번 사용한 정보는 폐기하는 것이 원칙입니다. 
❍ credit score, e-score를 대중이 열람 가능하도록 하는 것 필요.
❍ “It’s only the will we’re lacking”

Big Data를 어떻게 다루느냐?
❍ Data Scientist 는 WMD를 둘러싼 생태계를 이해하고 문제를 제시할 뿐 아니라, 문제에 대한 해결책도 제시해야 합니다.
- 예시로서 slave labor를 detect 하는 것, Child abuse 등 social work에 적용하는 것이 있을 수 있습니다. 후자의 경우 위탁가정에서 자란 부모일수록 child abuse가 높을 것이라 가정한다는 점에서 WMD와 비슷하지만, 이는 관련 부모들을 처벌하려는 목적이 아니라 이들을 도와주려는 목적이라는 점에서 WMD와는 거리가 있고, 해당 문제에의 해결책을 제시하는데 기여할 수 있습니다. (더욱 투명하고 정보에 대한 접근이 가능해야 함)
❍ 이 책을 통해 제시한 많은 예시들은, data 자체뿐 아니라 우리의 선택에서도 발생하고 있다는 것을 인지해야 할 것입니다. 





1. 전반적 감상
  - WMD의 위험에 대해 일반인들이 경각심을 가질 수 있도록 각 사례들이 적절히 제시되어 있다.
  - WMD를 taming 하면 모든 문제가 해결될 것처럼 결론을 내린듯한 인상이 드는 것은 아쉽다.

2. 보완되었으면 좋았을 부분
  - 여러 WMD의 예시가 나오는데, 모델을 사용한 사람이 이를 의도했는지, 의도하지 않았는지에 따라 분류하면 더 좋았을 것이다. (추가적으로, WMD가 야기하는 차별의 여러 가지 특성이나 opacity, scale, damage 등 WMD의 주요 특성 중 어디에 특히 해당하는지에 따라서도 분류하여 표로 제시하였으면 좋았을 것이라는 의견도 제시됨)
  - WMD가 왜, 어떻게 오남용 되는지, WMD가 오남용되는 것이 다른 것이 오남용되는 것보다 어떻게 더 큰 문제를 일으킬 수 있는지 더 깊이 입증하는 추가 연구가 진행되는 것도 의미 있을 것이다.
  - 본문에서 지속적으로 제시되는 ‘The poor’의 근거가 더 명확히 설명되었으면 좋았을 것이며, 대조군 또한 제시되었더라면 좋았을 것이다.

3. 내용에 대한 비판적 시각
1) Fairness 성취가 과연 가능한가?
  - 이미 차별이 만연한 우리 사회에서 과연 unbiased metrics가 존재할 수 있을까?
  - 공정성에 대한 논란은 WMD와 크게 관련이 없을 수 있다. 예전부터 보수주의자는 공정성이 개인의 노력과 밀접한 관련이 있으며, 리버럴은 취약계층 대상의 적극적 우대조치로 공정성을 이룰 필요가 있다고 주장해 온 것 처럼…
2) opacity가 과연 제거될 수 있을까?
  - 모든 데이터가 오픈되고 알고리즘이 공개되면 개인들이 허위정보를 제공하거나 정보를 조작할 가능성이 있지 않나? 기업에서 이를 우려하면 투명성은 제고하기 어려운 게 아닌지 우려된다. (데이터에 대한 auditing이 강화될 필요성이 있다는 것을 감안 시, 데이터가 어느 정도 오픈되어야 auditing이 더 용이할 것이라는 의견 제시됨)
3) proxy는 나쁘기만 한 것인가?
  - 사회현상을 바라보는데 있어서 proxy가 아닌 것이 과연 있을까? 과학이 목적과 의도를 ‘타당하게’ 조작적 정의로 구현한다면 그 자체를 문제 삼을 수 있나? 저자는 WMD의 주요 문제를 proxy로 상정하고 이는 ethic이 결여되어 있다고 하는데, 충분히 설득력이 있는지 모르겠다. (statistical discrimination 문제인데, 많은 회사들은 시간 및 비용 절약을 위해 이에 의존함. 기업이 statistical discrimination에 의존하지 않으려면, 그것을 사용하지 않는 것에 대한 counterfactual한 효과가 설득이 되어야 할 것임. 만약 proxy를 사용해야 한다면, ‘선한 의도’를 가지고 ‘제한적으로’ 활용해야 하지 않겠냐는 의견 제시됨) 
  - 채용 시 잠재력 있는 인력을 찾아내기가 어려운 것은 사실이지만, 마땅히 대안이 있는가?
4) 데이터 사이언티스트의 내적 윤리
  - 학계와 기업의 협업이 더 많아지는 상황에서, 데이터 사이언티스트의 내적 윤리에 기대하는 듯한 결론이 타당한지 의문이다.
5) 윤리적 딜레마
  - 다원적 무지와 집단분극화를 막기 위한 조정과 개입이 과연 타당한가? 구글검색결과에서 일베가 차단되는 등... (moral과 discrimination을 구별하는 것은 어려운 일임. 현재에는 사람이 하고 있지만, 향후에는 AI가 할 가능성이 높아질 것임. 한편, 일개 검색엔진이 특정 사이트를 차단하도록 결정하는 것이 과연 타당한지에 대한 의문이 제기됨)
6) 인간의 선택은 과연 ‘진화’하는가?
  - Modeling에 반영되는 것은 결국 인간의 결정이 아닌가?
7) 인간관계 악화의 가능성
  - 저자가 제시한 것처럼, 동일한 미디어에 접근하더라도 개개인이 제공받는 정보와 광고가 모두 달라질 텐데, 이로 인해 개인과의 관계가 더 악화될 수 있을 것이다.

3. 기타 저자가 놓쳤다고 생각하는 것들
  - 일부 유권자들이 microtargeting 때문에만 관심을 못 받는 게 아니라, 미국 특유의 선거인단 제도 때문이 아닐까 한다. 정치에 관심이 있는 사람들, 혹은 affiliation이 약한 사람들을 움직이는 것은 하나의 선거전략이라 볼 수 있는 것 아닌가? (그러나 이로 인한 정보의 비대칭 및 공약 남발은 다소 심각한 문제라는 의견 제기)
  - 온라인 중심의 선거운동, 또는 정치정보 공급의 전산화로 이행하는 것 자체에 대한 문제제기도 필요한 것이 아닌가 함.
  - 보험 관련 chapter에서 제시하는 수리적 모델은 의도하지 않은 결과가 아니라, 이윤을 극대화하기 위해 처음부터 ‘의도한 결과’가 아닐까 함.

4. WMD를 해체하거나, 영향을 최소화하기 위한 여러 대안 및 의견들
  - 개인들이 스스로 자신의 모습을 반성하고 주변 사람들과 함께 대안을 모색해야 함.
  - 업무효율성 극대화만을 목적으로 big data를 활용하는 기업들의 boycott 필요. (저자가 일부 제시한 바와 같이...한편, big data를 선망하는 사람들이 많은 현실에서 실질적인 boycott이 어렵지 않겠냐는 의견도 제기됨)
  - 취약계층에 대해, 계급에 대한 낙인 대신 복지를 강화하라는 주장이 적절하다고 봄. (그런 의미에서 big data가 현재 체제와 사회적 문제를 더 적나라하게 보여주는 역할을 하고 있음)
  - big data literacy가 만약 가까운 미래에 해소된다면, big data의 접근할 수 있느냐의 문제가 부상될 것이며, open data 규범과 data의 윤리적 사용에 대한 사회적 가이드라인을 만들어야 할 것임. (github의 활동을 비판적으로 지켜봐야 함)
  - ‘이윤추구를 위해 정보를 어디까지 활용해야 하느냐’ 의 문제를 생각해봐야 함. 또한 수학적 알고리즘을 통해 이러한 불평등을 교정할 수 있는 방법 및 사회적 규제에 더 관심을 기울여야 할 것임.
  - 저자가 지적하는 WMD의 문제가 비단 빅데이터만의 문제는 아닐 것임. 과학적 사실을 만드는 과정은 블랙박스에 감춰져 있으며, 이에 대한 대안으로 외부자들의 블랙박스 literacy를 제고하며 내부자들을 법적으로 규제할 필요가 있음. 또한 블랙박스에 권위를 부여하는 이데올로기에 의문을 가지며, 과학적 사실을 만드는 다양한 기제들을 더 정교하게, 사회적 정의에 맞게 교정 필요함. (이에 대해 실험을 하고, 사후적으로 판단할 수 밖에 없을 것이라는 의견 제기)
  - 이윤추구가 목적인 보험회사 등 기업에서 minority를 꼭 배려해야 하는지? 정부 및 공공기관 차원에서 해야 할 일이 아닌지?
 
발제자의 소견
최근 ‘4차 산업혁명이 도래한 이 시점에 빅데이터를 어떻게 다루어야 하는가?’ 의 주제와 관련하여 학계 및 일반인들의 관심이 증폭되고 있다는 점을 감안 시, 해당 책은 적절한 시기에 출판되었다고 판단됩니다. 이 책은 우리가 한 사회의 시민으로서 살아가는 각 단계에 있어서 악영향을 미치는 WMD의 다양한 사례를 중심으로 구성되어 있으며, 추후 우리가 빅데이터 및 WMD로부터의 악영향을 최소화 할 수 있는 나름의 해결방안을 제시하고 있습니다. 저자가 주장하는 해결방안은 언뜻 보면 지나치게 개략적이거나 낙관적으로 비추어질 수 있으나, 한편으로는 빅데이터를 다루는데 있어 인간이 ‘machine’과 대비하여 기여할 수 있는 본질에 대해 명확하게 지적하고 있다는 점에서 의의가 있습니다. 
한편, 이 책의 한 축을 이루는 또 하나의 커다란 의의는 독자로 하여금 우리 ‘인간’이 사회 구성원을 어떤 잣대로 차별해 왔는지 성찰하는 기회를 제공한다는 점이라고 생각합니다. 결국 인간이 만든 수리적 모델이 사회 구성원을 분류하고, 의도하였건 그렇지 않건 간에 부정적인 feedback loop을 가진다는 것은 인간의 목적 및 의지에 관련된 것입니다. 우리는 우리가 낳은 수리적 모델이 어떤 식으로 ‘인간을 닮아가며’ 특정 사회 구성원을 차별하고 있는지, 그 차별의 효과는 얼마나 막대한 것인지 항상 유념하며 4차 산업혁명 시기를 맞아야 할 것입니다.

   
NO
Comments
아직까지 남겨진 코멘트가 없습니다. 1 님의 글에 코멘트를 남겨주세요!