WMD의 위협, 『대량살상수학무기』를 읽고

『대량살상수학무기』라는 제목은 대량살상무기(WMD)에서 유래했다. WMD는 Weapons of mass destruction의 줄임말인데 이를 Weapons of math destruction으로 바꾸었다. 정수론과 통계학을 딛고 정교하게 설계된 알고리즘, 빅데이터가 우리, 특히 가난한 자에게 어떤 위협이 되는 지를 집중 조명했다. 

https://www.ted.com/talks/cathy_o_neil_the_era_of_blind_faith_in_big_data_must_end?language=ko

(캐시 오닐이 같은 주제로 TED 강연을 했다.)

1. 이 책을 쓴 '캐시 오닐'은 누구인가?  

 

UC 버클리를 졸업하고 1999년 하버드대학교에서 대수적 정수론으로 수학박사를 받았다. MIT에서 박사후 과정을 고친 후 버나드 칼리지 수학과 종신교수로 재직했다. 2007년 교수직을 버리고 헤지펀드 디이쇼의 퀀트가 된다. 퀀트는 투자에 알고리즘을 활용하는 사람이다. 디이 쇼의 선물거래팀을 이끌고 2000년대 글로벌 금융계의 호황과 붕괴를 몸소 겪었고 수학과 금융의 결합이 불러오는 파괴적 힘에 환멸을 느끼고 월가를 떠나서 현재는 월가점거운동의 하위조직인 대안금융 그룹을 이끌고 있고 알고리즘을 감사하고 위험성을 측정하는 기업 ORCAA를 설립해 활동하고 있다. 

2. 대체 뭐가 문제야?

인류는 컴퓨팅 기술의 엄청난 발전으로 빅데이터를 활용할 수 있게됐다. 빅데이터 알고리즘을 활용하면 판단 과정에서 편견이 개입될 여지가 적어서 공정성이 확보되고 효율성도 증진될 것 같다. 그래서 많은 기업과 학교에서 알고리즘을 도입하고 있다. 

 알고리즘을 구성하려면 두 가지가 꼭 필요하다. 첫째는 데이터이고 둘째는 '목표'이다. 어떤 데이터를 모아서 어떤 결론을 낼 것인지 로드맵이 있어야 빅데이터를 활용할 수 있다. 여기서 인간의 편견이 작동한다. 알고리즘 자체는 아주 공정한 절차를 거쳐서 작동하기 때문에 절차적 정의는 확보할 수 있지만 그 목표와 수집데이터에 편견과 선입견이 작용하기 때문에 결과적 정의는 보장할 수 없다. 이 순간 알고리즘은 위험한 무기가 된다.

왜 알고리즘이 위험한 무기가 될까? 우선 알고리즘은 굉장히 불투명하다. 애초에 사용된 알고리즘을 확보하는 일 자체가 쉽지 않을 뿐더러 확보한다고 하더라도 수준 높은 수학과 컴퓨터공학이 결합되어있기 때문에 전문가가 아니라면 그 실상을 파악하기가 힘들다. 그 결과 불합격, 높은 형량 등 본인이 받은 불이익에 불만을 가지더라도 적극적인 반론과 저항을 하기 힘들다. 또한 알고리즘은 확장성이 굉장히 좋다. 알고리즘을 복사하는 데는 돈이 들지 않기 때문이다. 피해규모가 어마어마하게 늘어날 수 있다. 

  그 예시가 재범위험성모형이다. 재범위험성모형은 수감자의 재범율이 얼마인지 알려주는 알고리즘이다. 그 근거 데이터는 그가 사는 지역, 만나는 사람과 소비 습관 등이다. 전과 등 범죄와 직결되는 데이터가 아니라 '대리 데이터'를 근거로 삼아서 재범 위험률을 산출한다. 얼핏보면 공정한 요소로 보인다. 돈이 많은 사람보다는 돈이 없는 사람이 범죄를 더 저지를 것이고, 교육 수준이 높은 사람보다 교육을 받지 못한 사람이 더 많은 범죄를 저지를 것 아닌가. 이게 문제다. 

  만약 빈민가에 사는 사람이라면 우범지역에 살고 교육 수준이 낮으며 소비 습관도 불규칙적인데다가 마땅한 직장도 없을 확률이 높다. 이런 사람이 마약을 하다가 적발되면, 뉴욕시 중심에 살고 하버드대학교를 졸업했으며 월가에 재직하는 마약 적발자보다 형을 높게 받게 된다. 더군다나 이 모형은 부정적인 Feedback loop를 활성화한다. 재범위험성모형에서 높은 점수를 받은 사람은 오랜기간 복역할테니 다시 직업을 얻기가 힘들고, 슬럼가를 벗어나지 못한다. 이 사람은 다시 범죄를 저지를 가능성이 높다. 재범위험성모형의 부정적 예언이 사실이 되는 순간이다. 재범위험성모형의 효율이 입증됐으니 많은 공공기관과 기업이 이 모형을 벤치마킹할 것이고, 그러면 빈민가 출신은 직장 구하기가 더욱 힘들어져서 재범위험성모형은 다시 그 예측력이 인정된다.

또 다른 예시는 미국 영리대학의 마케팅 전략이다. 이하는 조선일보의 기사이다. "피닉스 대학은 신분 상승을 미끼로 빈곤층을 공략하는 알고리즘을 설계했다. 자녀가 있고 복지수당을 수령하는 싱글맘, 임신한 미혼 여성, 최근 이혼한 20 ~ 40대 등의 빅데이터를 교묘하게 수집했다는 것. 푸드 스탬프(정부의 저소득층 식료품 지원) 정보 안내를 내세워 휴대폰 번호를 입력하게 하는 식이다. 이 대학 학생 1인당 교육비는 892달러에 불과했지만, 1인당 마케팅 비용은 2275달러를 썻다고 한다. 이런 식으로 6만명의 신입생을 등록시켜 올린 2014년 '매출액'이 무려 6억달러이다."

(출처 : http://news.chosun.com/site/data/html_dir/2017/09/21/2017092102153.html)

이 기사도 좋은 인터뷰 기사이므로 읽어보는 걸 권유한다.

이외에도 책은 위험한 알고리즘의 구성요건과 예시를 말한다. 불투명한 알고리즘에 편견섞인 목표가 설정된다면 이를 알아차리기란 매우 힘들기 때문에 시민사회에 아주 큰 위협이 될 수 있다. 그런 점에서 알고리즘은 『대량살상수학무기』가 된다.