[AI for social] 요기요의 배달 기사 등급 문제와, AI 가 내린 의사결정에 설명이 필요한 이유

코로나로 인해 더욱 더 확산 된 배달 문화.

그에 따라 효율적이고 더 빠른 배달을 받기 위해 각 경쟁업체들은 치열한 경쟁을 하고 있다. 

빠르고 정확한 배달을 위한 시도 중 하나가 AI를 이용한 배달 배차 기능일 것이다. 하지만, 최근에 요기요 사례를 보면 알겠지만 AI가 사람을 쥐락펴락 하고 있는 실정이 되버렸다. 

https://www.labortoday.co.kr/news/articleView.html?idxno=203234 

[“평가기준 회사는 모른다?”] AI가 쥐락펴락하는 요기요 라이더들 - 매일노동뉴스

 

현재까지 머신러닝, 인공지능을 배워온 사람으로서, 위에 대한 설명은 이해할 수 없다. 제 아무리 복잡한 알고리즘이라 해도 개발자가 의도한 것이 있고, 모델에 사용한 "데이터셋" 그리고 그 모델을 최적화 하기 위한 "목적"이 있다. 그리고 무엇보다도 인공지능이 저러한 의사결정을 내렸다는 점을 "설명하려고 노력하지도 않았다는 점" 이 가장 괘씸하다.

요기요 측은 다음과 같이 말했다고 한다.

"인공지능이 판단한 등급은 수정이 불가능하고, 그 기준도 밝힐 수 없다"

 

인공지능은 정말 수정할 수 없을까?

그리고 배달 라이더들에게 왜 등급을 떨어뜨렸는지에 대해 설명해줄 의무는 없는 것일까?

카카오가 2018년에 발표한 AI 윤리를 보면, 다음과 같은 항목이 있다.

5. 알고리즘에 대한 설명
이용자와의 신뢰 관계를 위해 기업 경쟁력을 훼손하지 않는 범위 내에서 알고리즘에 대해 성실하게 설명한다.
카카오는 새로운 연결을 통해 더 편리하고 즐거워진 세상을 꿈꿉니다.
카카오 서비스는 사람과 사람, 사람과 기술을 한층 가깝게 연결함으로써 그 목표에 다가가고자 합니다. 카카오는 모든 연결에서 이용자와의 신뢰 관계를 소중하게 생각합니다. 이를 위해 더 나은 가치를 지속적으로 제공하는 기업으로서, 이용자와 성실하게 소통하겠습니다.

 

AI가 보편화 된 요즘 알고리즘에 대한 설명은 우리에게도 충분히 닥칠 수 있다. 예를 들면 다음과 같은 상황은 당신에게도 충분히 일어날 수 있다.

자소서를 써서 회사에 지원했는데 AI가 떨어뜨린 경우, 인사고과 평가 점수가 낮게 나왔는데 머신러닝을 통해 평가한 경우, 신용등급이 떨어졌는데 은행에서 AI가 했다며 설명 안해주는 경우, 아이와 동영상을 보는 데 성인 동영상을 추천해주는 경우 등등.

이러한 상황이 발생했을 때마다 AI가 했으니 우리는 설명해 줄 수 없다? 

여기서 감히 요기요가 알고리즘에 대해 설명하지 않는 이유를 추정해보자면, 요기요의 알고리즘은 배달건수를 최대화 하도록 개발이 되었을 것이다. 하루동안 많이 배달을 배정해야 회사의 수익이 높아질 것이니까.

다시 말해, 배달라이더가 화장실을 가야 하든, 교통사고를 당했든 개발시점에 고려하지 않았을 것이다. 오히려 알고리즘에 계산한 배달시간이 늦춰지면 해당 배달기사에게 penalty가 가도록 계속 모델이 업데이트 되었을 것이고, 그에 따라 자동적으로 등급이 내려갔을 것으로 추정한다.

만약 AI의 목적함수(objective function)에 배달기사의 인권(휴식시간, 교통사고 여부, loyalty) 등을 포함시켰더라면 저런 식의 등급나누기는 하지 않았을 것이다.

 

이러한 "설명"에 대한 윤리적 태도가 더욱 중요한 이유가 있다. 예를 들어, 자동차 운전중에 엔진에 열이 나서 고속도로 한복판에서 멈췄다고 하자. 그러면 당연히 자동차 회사에게 문의해서 무엇때문에 멈추었는지 요구하는 것은 당연하다고 생각할 것이다. 그러나, 요기요 사례와 같이 인공지능에 대해서는 당당하게 왜 이런 의사결정을 내렸는지 요구하는 것에 당연하게 여기지 않는 것 같다. 

그 이유는 자동차 등의 기술에 기반해 생산된 제품과는 달리 인공지능은 사람의 "지능"을 모방한 것이기 때문이다. 단순히 인간의 삶이나 행동을 편하게 해줬던 기존의 과학 기술과 달리 인간의 "지능"을 핑계로 인간을 "조정"하려고 할 수 있기 때문에 더욱 더 "설명"에 대한 의무와 그에 따른 "설명"할 수 있는 기술 개발이 중요할 것이다.

 

* 참고 자료

https://www.kakaocorp.com/page/responsible/detail/algorithm

Kakao