본문내용 바로가기

전체메뉴

고객센터 02-559-3929 평일 09~18시 점심 12~13시 (주말, 공휴일 휴무)
창의교육

정보문화 이야기

  • 작성자크레존
  • 등록일2020.03.06
  • 조회수1150

현대 사회는 개인 간 보복과 실력행사를 금지하고 법과 제도에 의한 처리에 위임하는 법치주의 사회입니다. 재판과 판사는 사회에서 그러한 판단을 담당하는 전문적인 제도이며 담당자입니다. 하지만 사람의 판단은 완벽하지 않습니다.

2011년 4월 법원의 보석 허가 판결이 판사의 식사 시간과 높은 상관성을 보인다는 논문이 미국 국립과학원회보에 발표됐습니다. 이스라엘 법원이 10개월간 처리한 1,000건 넘는 보석 신청을 분석했더니, 시간당 보석 허가율은 오전 업무 개시 직후엔 65%였으나 점심을 앞둔 시간대엔 0%로 떨어졌습니다.

[그림 1]
(이미지 출처 : 이미지 투데이)

점심식사 뒤 보석 허가율은 다시 65%로 올라갔다가 업무가 종료하기 직전 시간대엔 0%로 수렴했습니다. 보석 여부가 판사들의 허기감에 좌우된 것입니다. 공정할 것으로 기대한 판사들의 보석 허가를 통계적으로 조사해봤더니, 배고픔이라는 예상치 못한 변수에 좌우되고 있었다는 것을 알려준 연구입니다.

인공지능이 판단의 영역에 요청되는 배경입니다. 인공지능 알고리즘은 사람처럼 부주의와 실수, 차별과 편견과 같은 오류와 비효율에 빠지지 않고 정확하고 효과적인 결과를 가져올 것이라는 기대를 받으며 속속 채택되었습니다. 하지만 현실은 달랐습니다.

알고리즘은 개인 용도의 서비스를 넘어 채용 면접, 대출 심사, 연인 소개 등 생활의 주요 문제는 물론 형사 피의자의 구속 여부를 결정하는 사법 영역에까지 적용 범위를 넓혀가고 있지만, 전에 없던 새로운 차별과 편견 문제를 일으키고 있습니다.

● 사례 1 : 2013년 구글 검색의 ‘자동완성 auto complete’가 남성과 여성을 차별하고 있다는 사실이 밝혀졌습니다.

예를 들어 구글 검색창에 “남성은 ~하는 게 당연하다 man deserves”라고 입력하면 “남성은 높은 임금을 받는 게 당연하다”, “남성은 존경받는 게 당연하다” 같은 단어가 자동완성되지만, “여성은 ~하는 게 당연하다 woman deserves”라고 입력했더니 “여성은 매 맞는 게 당연하다” 같은 다수의 여성 혐오적인 표현들이 자동완성되었습니다.

남성들이 이런 유형의 단어 조합을 많이 검색한 탓입니다. 2017년엔 구글 번역기가 군인·의사·엔지니어는 ‘남성형’으로, 교사·요리사·간호사는 ‘여성형’ 대명사나 동사로 표기한다는 사실이 알려져 성차별 논란이 재점화했습니다. 미국 시카고대 학생이 성 중립적 표현을 쓰는 터키어를 구글 번역기를 통해 영어로 옮긴 결과를 고발함으로써 드러났습니다.

[그림 2]
(이미지 출처 : 이미지 투데이)

미국 온라인 쇼핑몰 아마존은 당일 배송 프라임 서비스를 제공하면서 미국 각 도시의 흑인 밀집 거주지역에서는 이용할 수 없도록 했다가 비판을 받은 바 있습니다. 2015년 7월 미국 카네기멜런대 연구진은 구글 광고가 고임금의 구인 광고를 남성 위주로 노출하여 여성의 해당 일자리 접근 기회를 줄인다는 연구 결과를 발표했습니다.

구글 광고는 흑인 사용자 가운데 흔한 이름을 쓰는 사람에겐 검색 결과 옆에 “경찰에 체포된 적이 있나요?”라는 체포 사진 삭제 업체 서비스의 광고를 표시해 인종차별을 한다는 것을 하버드대 라타냐 스위니 박사가 밝혀낸 바 있습니다.

● 사례 2 : 미국 형사재판에선 인공지능 알고리즘 ‘컴파스’는 폭력 범죄자의 재범 가능성을 분석해 판사에게 형량 결정용 자료를 제공합니다.

미국 많은 주에서 경찰은 검문 검색 때 얼굴 인식 소프트웨어를 사용하는데, 인종에 따라 판독 정확도가 크게 차이가 납니다. 흑인 사진을 잘못 인식할 확률이 백인보다 2배 높습니다. 이는 운전면허증 같은 신분증을 대조할 때 흑인이면 신분 위조 가능성을 높게 판단해 범죄 용의자로 분류하는 결과를 유도할 수 있습니다.

2016년 5월 <프로퍼블리카> 보도에 따르면, 경찰이 사용 중인 이런 소프트웨어는 흑인이 무고하게 피고가 됐을 경우 상습범으로 추정하는 경우가 백인보다 2배 많았습니다. 이러한 추정은 흑인 거주지역에 대한 순찰 강화로 이어져, 다른 인종보다 더 많은 범죄 용의자가 체포되는 차별의 순환구조를 만들어냅니다.

[그림 3]
(이미지 출처 : 이미지 투데이)

● 사례 3 : 최근 카메라와 사진 애플리케이션(앱)은 인공지능을 이용해 피사체를 인식하고 자동 분류·태깅합니다.

2016년 5월 구글이 출시한 스마트폰용 사진 앱 ‘구글 포토’는 사진을 인식해 자동 분류하고 태그를 붙입니다. 이 앱은 한 흑인의 얼굴 사진에 ‘고릴라’라는 태그를 달았다가 당사자 지인이 이를 고발하는 바람에 한바탕 홍역을 치렀습니다.

구글은 “의도적인 게 아니었다”며 사과했지만, 태깅 오류를 수정하지 못하고, 구글 포토에서 ‘고릴라’라는 태그를 삭제하는 방식으로 미봉했습니다. 구글만이 아닙니다. 니콘 카메라의 얼굴 인식 소프트웨어는 아시아인의 경우 뜬 눈을 깜빡이는 것으로 잘못 인식했고, 휼렛패커드가 만든 노트북의 웹캠은 흑인을 아예 식별하지 못했습니다.

위 사례들처럼 인공지능이 차별과 편견 가득한 판단을 하는 사례는 다양합니다. 방대한 데이터를 머신러닝으로 학습한 결과 알고리즘은 많은 영역에서 인간 능력을 뛰어넘지만, 사람에겐 없는 맹점과 노골적 차별의 사례도 함께 가져온다는 사실을 알려줍니다. 더욱이 문제가 드러나도 고치지 못해 해당 기능을 제거할 수밖에 없었다는 것은 심각합니다.

“쓰레기를 넣으면 쓰레기가 나온다”는 정보기술계의 상식처럼 데이터와 알고리즘은 현실을 반영합니다. 사회 현실이 왜곡과 편견으로 가득하다는 것은 이를 반영하는 데이터와 알고리즘 또한 마찬가지라는 것을 의미합니다. 인공지능 알고리즘이 대부분 미국 실리콘밸리에 사는 25~50살 백인 남성들에 의해 개발되고 있다는 점과 오랜 기간 흑인들의 사회활동이 제한되고 탄압받아왔다는 사실이 ‘인종차별 알고리즘’의 배경입니다. 프로그램 설계자의 차별 의도나 수학적 실수 때문이 아닙니다.

[그림 4]
(이미지 출처 : 이미지 투데이)

데이터에 의존하는 기계학습은 기존과 다른 새로운 차별과 편향성을 드러냈습니다. 불완전한 인간의 실수와 오류는 상황에 따라 다르고 사람마다 고유하고 개별적이지만, 기계의 오류는 구조적이고 보편적입니다. 사람의 판단 실수와 오류는 예상되기 때문에 각종 보완책(복수 평가, 최저·최고점 배제 등)도 함께 마련됩니다.

재판도 항소제도가 있어서 1심, 2심, 3심으로 진행되는데 이는 판사의 판단이 완벽하지 않을 수 있다는 것을 전제로 한 제도입니다. 하지만 인공지능 알고리즘의 오류와 실수는 이런 보완책으로 대응할 수 없으며, 사전에 오류의 형태와 원인을 예상하기도 어렵습니다.

재판에서는 1심, 2심, 3심의 결과가 다를 경우에 이를 수용하도록 사회제도와 관습이 형성돼 있지만, 기계의 판단은 다릅니다. 예를 들어 재판을 담당하는 인공지능이 1심 알고리즘과 2심, 3심의 알고리즘 결과가 다를 경우 사람들이 그 결과를 수용할 리 만무합니다. 기계는 사람처럼 개별적이지 않고, 일관되고 보편적일 것을 요청받기 때문입니다.

사람의 판단에 비해 공정성과 효율성을 높일 것이라고 기대받은 소프트웨어 알고리즘이 오히려 성별, 인종/소득별 차별을 강화하는 사례가 보고되고 있습니다.

하지만 이런 차별적 알고리즘은 개발자가 의도한 게 아니라 결과적으로 나타난 차별입니다. 왜 이런 차별이 일어날까요? 이는 데이터에 의존하는 기계학습 방식의 인공지능이 지닌 속성 때문입니다. 인공지능 소프트웨어는 알고리즘과 데이터로 구성되는데, 두 가지 차원에서 각각 애초 의도하지 않은 편향된 결과가 야기될 수 있습니다.

[그림 5]
(이미지 출처 : 이미지 투데이)

첫째, 알고리즘 자체가 중립적이거나 공정하지 않습니다. 미국 보스턴대 법학 교수 다니엘레 시트론은 “알고리즘을 객관적이라고 생각해 신뢰하는 경향이 있지만, 그 알고리즘을 만드는 것은 인간이므로 다양한 편견과 관점이 알고리즘에 스며들 수 있다”고 지적합니다.

단계적 수식 프로그램인 알고리즘은 세부적 코드마다 실제로는 구체적인 가정과 선택을 해야 합니다. 이 과정에 개발자의 성향과 판단, 사회적 압력이 알게 모르게 개입합니다. 조지아 공대의 기술사학자 멜빈 크랜즈버그 교수가 만든 ‘기술의 법칙’은 “기술 자체는 좋은 것도 나쁜 것도 아니지만, 중립적이지도 않다.”(제1조) “기술은 지극히 인간적인 활동이다.”(제6조)라고 정의합니다.

둘째, 컴퓨터 스스로 데이터를 통해 학습하는 머신러닝은 주어진 데이터의 한계를 벗어날 수 없습니다. 기존 데이터의 규모와 특성 그리고 그 데이터를 만드는 사람들의 속성이 반영되는 구조입니다. 인공지능 분야에 종사하는 사람들이 백인, 남성, 고소득자, 영어 사용자가 절대다수라는 사실은 알고리즘이 흑인, 여성, 저소득층을 차별하는 구조적 요인입니다. 기계학습 방식의 구글 번역이 영어 등 서유럽 언어에서 높은 정확도를 보이는 것도 기본적으로 데이터의 규모와 속성에 따른 결과입니다.

사람의 판단이 완벽하지도, 정확하지도, 100% 공정하지도 못하다는 점은 ‘인공지능 재판관’에 대한 기대를 키우고 있습니다. 2015년 경제협력개발기구 조사결과 한국의 사법신뢰도는 27%로, 42개 조사대상국 중 꼴찌그룹이었습니다.

인공지능을 도입하면 ‘전관예우’ ‘유전무죄 무전유죄’로 얼룩진 사법 제도를 공정하게 만들 수 있을까요?

판례 검색과 증거 분석 등 사법 영역에서 인공지능의 적용은 늘어나지만, 알고리즘이 사람의 판단을 대체하면서 새로운 차별과 편파성의 문제도 제기되고 있습니다. 알고리즘은 효율적이고 객관적이라는 기대를 받았지만, 백인 남성 데이터 위주로 학습한 인공지능이 흑인과 여성 등 소수자를 구조적으로 차별하고 배제하는 현상이 다수 보고되었습니다.

공정성과 효율에 대한 높은 기대는 사법 영역에도 편견 없는 인공지능 알고리즘의 개입을 요청하고 있지만, 결과는 역설적입니다. 새로운 차별과 편견을 불러왔으며 기계 위임을 통해 개인은 권한과 책임을 스스로 포기하고 있습니다.

기소와 중재, 재판 등 사법 영역에 인공지능 적용 확대는 예고돼 있지만, 알고리즘 의존은 신종 차별을 넘어서는 차원의 문제를 불러옵니다. 선택을 자동화하고 결정 권한을 기계에 위임하는 것은 사람의 권한과 책임, 조정권마저 기계에 넘기는 결과가 되기 때문입니다. 사람과 상황마다 판단은 달라지며 비슷한 문제에 대해서도 사람들의 생각은 제각각입니다.

[그림 6]
(이미지 출처 : 이미지 투데이)

사람은 효율성과 편리함을 끝없이 추구하면서 직접 조사·분석하고 판단·선택하는 번거로운 절차를 기계에 맡겨 자동화하고 있습니다. 정보기술은 인공지능 알고리즘에 맡기면 편향과 오류 성향을 지닌 사람과 달리 효율적이고 정확하며 공정한 결과를 얻을 수 있을 것이라는 희망을 제시합니다.

하지만 선택을 자동화하고 그 결정 권한을 기계에 위임하는 것은 결국 사람의 취향과 권한을 기계에 넘기는 결과가 됩니다. 번거롭고 골치 아픈 문제를 판단하고 결정하는 일을 기계에 맡김으로써 우리는 자유로워지고 편리해질 수 있지만 그만큼 잃어버리게 되는 것도 있습니다.

해당 문제에 대한 생각과 결정, 궁극적인 결과도 사람이 아닌 기계에 넘겨주는 결과가 됩니다. 그런데 아무리 똑똑한 인공지능이라 해도 중요한 문제에 대해 그 결과에 대한 책임까지 떠안을 수는 없습니다. 사람의 범죄와 그릇된 행위를 처벌할 수 있는 기본 전제는 사람을 자유롭고 책임 있는 존재로 보기 때문입니다.

자의식이 없는 로봇은 효율적인 결과를 내놓는 것처럼 보여도 그에 대해 책임을 질 수도 없고, 처벌을 통해 고통과 불안을 경험할 수도 없습니다. 도덕과 관습, 법률과 재판을 통해 우리가 만들고 유지해온 가치체계와 판단은 효율성을 명분으로 알고리즘에 맡기는 게 더 큰 부작용으로 이어질 수 있습니다.

[그림 7]
(이미지 출처 : 이미지 투데이)

사람과 상황마다 판단이 달라지며 비슷한 문제에 대해서도 사람들의 생각은 제각각입니다. 그처럼 답이 없고 골치 아픈 문제에 대한 판단을 우리는 재판과 법관이라는 제도에 위임한 것입니다. 편견과 불공정을 지닌 불완전체계이지만 인간 고유의 유연한 장치입니다.

이 불완전을 기계를 통해 제거하려 할 경우 어떤 결과가 벌어질지를 살펴보았습니다. UCLA 앤드루 셀브스트 교수는 알고리즘의 효용성이 가치가 있지만 “공정성이라는 철학적 개념을 수학적 표현으로 바꿀 때마다 그 미묘함, 유연성, 융통성을 잃게 된다”고 말했습니다.

오히려 우리가 고려해야 할 문제는 알고리즘을 누가 어떤 목적으로 설계하고, 그 운용을 통해 누구에게 어떠한 결과가 생기는지를 따져보는 것입니다. 알고리즘은 그 자체로 공정하고 객관적인 게 아니라, 사람이 디자인한 것이라는 점에서 설계자의 의식적·무의식적 지향과 의도가 개입될 수밖에 없습니다.

뉴욕대 교수 케이트 크로퍼드는 “인공지능은 다른 기술들처럼 개발자의 가치를 반영합니다. 누가 중요한 자리에 앉아 결정하고 윤리적 관점을 제시하는지 따지지 않으면, 소수 특권 세력의 편협하고 편향적인 관점을 반영하게 된다”고 말합니다.

로렌스 레식 하버드 법대 교수는 <코드>에서 법이 사회를 규율하듯 소프트웨어 코드는 사이버 세계를 규율한다고 말합니다. 법과 알고리즘 모두 현실을 규율하는 힘이지만, 차이는, 법조문은 작동 방식과 영향이 드러나지만, 알고리즘은 블랙박스 속에 숨어 있다는 점입니다. 개발자 외에는 접근할 수 없습니다. 인공지능의 쓰임새가 늘어날수록 그 작동구조인 알고리즘에 대한 투명성과 사회적 논의가 요구되는 이유입니다.

[그림 8]
(이미지 출처 : 이미지 투데이)

방대한 데이터를 머신러닝으로 학습한 결과 알고리즘은 많은 영역에서 사람보다 뛰어난 결과를 산출하는 것으로 보이지만, 사람에겐 없는 맹점과 노골적 차별이 존재한다는 것을 새롭게 알려주고 있습니다. 2016년 마이크로소프트가 서비스한 인공지능 채팅로봇 테이는 서비스 초기에 짓궂은 이용자들이 “히틀러가 옳았다”는 식의 인종차별적 막말을 학습시켜 혐오 표현을 쏟아내는 오류를 일으켰습니다.

문제가 발생하자 마이크로소프트는 채팅로봇 테이를 수리하지 못하고 서비스를 중단하기로 했습니다. 문제와 피해가 발생했지만, 제조사는 서비스를 고치는 법을 알지 못했기 때문이다. 해당 기능을 불능화하는 게 유일한 방법이었습니다. 이는 인공지능과 알고리즘에 의존하는 삶이 얼마나 위험할 수 있는가를 알려준 사례입니다.

개인과 사회가 통제할 수 없는 도구를 효율성이 높다는 이유로 기꺼이 사용하는 무모함과 위험함을 보여주었기 때문입니다. 데이터와 알고리즘은 사람처럼 편견과 한계를 갖지 않고 객관적이고 과학적인 판단과 연산을 할 것이라는 기대를 받고 있지만, 현실은 전혀 그렇지 않습니다.

데이터와 알고리즘은 현실의 반영이고 현실은 이미 왜곡과 편견으로 가득합니다. 데이터와 알고리즘 역시 마찬가지일 수밖에 없습니다.

공정한 판단이라는 수고롭고 어려운 과제를 기계가 대신해줄 수 있다고 생각하는 것은 위험합니다. 우리가 인공지능과 알고리즘 등 기계의 구조를 파악하고 통제할 수 있는 한도 안에서 기계에 특정한 부분을 위임할 수 있을 따름입니다.

[그림 9]
(이미지 출처 : 이미지 투데이)

사람들도 도달할 수 없는 무결점의 해결책과 완벽한 합의를 기계가 대신 판단해줄 수 있다는 것은 인간의 책임과 권한을 포기하는 행위이고, 그 결과는 기계를 설계하고 다룰 줄 아는 소수의 집단에 자신의 권리와 힘을 넘겨주는 결과입니다.

답이 없고 골치 아픈 문제에 대한 판단을 우리는 재판과 법관이라는 제도에 위임해 왔습니다. 재판은 쉽고 간단하게 답이 나오지 않는 복잡한 사람들 간의 다툼과 사회적 갈등을 조정하기 위해 만들어낸, 완벽하지 않지만 인간다운 유연성을 갖춘 제도입니다.

인공지능 시대에 많은 문제에 대해서 알고리즘과 기계의 도움을 받을 수 있지만, 기본적으로 답이 나올 수 있는 문제일 때 활용할 수 있습니다. 사회에서 제기되는 수많은 답이 없는 문제는 아무리 인공지능과 알고리즘이 발달한다고 해도 기계가 아닌 사람의 몫입니다.

구 본 권 (IT저널리스트)
소감태그 참여결과
소감태그별 랭킹
잠시 기다려 주시길 바랍니다.
MY MENU
로그인 하시면
마이메뉴 설정이 가능합니다.
마이메뉴 설정
마이메뉴가 설정되었습니다.