뉴스 추천 알고리즘, 가장 큰 문제는? “보고 싶은 뉴스만 제공..다양성 상실”

[인터뷰 제5공장]

뉴스 추천 알고리즘, 가장 큰 문제는?

“보고 싶은 뉴스만 제공..다양성 상실”

- 박태웅 의장 (한빛미디어)

 

▶ 김어준 : IT 전문가 한빛미디어의 박태웅 의장님 나오셨습니다. 안녕하십니까. 

 

▷ 박태웅 : 안녕하십니까. 

 

▶ 김어준 : 지난주에서 이어지는 시간인데 지난주 기억을 못 하시는 분들, 못 들으신 분들을 위해 짧게 요약하면 AI라는 게 영화에서 보듯이 전지전능한 게 아니잖아요. 실제로 AI는 과거의 데이터를 최대한 많이 입력해서 거기서 사람들은 발견하지 못했던 패턴을 찾아내고 규칙화하고 그런 것 아니겠습니까? 그런데 지난 시간 마지막 대화가 뭐였냐 하면 그렇다면 과거의 데이터가 어떤 데이터냐가 중요하다고 말씀하셨는데 제가 의문이 들었던 것이 포털 AI가 뉴스를 다 선택한다고 포털은 해명하고 있습니다. 자꾸 편향성 문제를 제기하니까. 그런데 제가 들었던 의문은 뭐냐 하면 한미 정상회담이 있었어요. 그 직후에 포털에 하루 종일 걸려 있었던 것은 미국 부통령이 문재인 대통령과 악수하고 손을 닦았다, 이게 동영상으로도 크게 걸려 있고 기사로도 톱 화면에 걸려 있었든 말이죠. 반나절 가까이 걸렸었던 걸로 기억합니다. 그런데 그 이전에 미국 부통령이 우리 대통령과 악수하고 손 닦은 적이 없잖아요. 비교할 게 없지 않습니까? 

 

▷ 박태웅 : 그렇죠. 

 

▶ 김어준 : 어떻게 무엇을 비교해서 정상회담이 미사일지침 해제는 화면에 안 나오고 손 닦은 것만 하루 종일 걸려 있느냐. 도대체 AI가 뭘 기준으로 했기 때문에. 또 예를 들자면 최근에 P4G 서울회의가 있었습니다. 그런데 공교롭게도 그 전날 존슨 영국 총리가 결혼했다는 게 하루 종일 걸려 있었어요. 그런데 정작 그 존슨 총리가 이 P4G 회담에 참석한 것은 뉴스에 안 걸렸단 말이죠. 처음 있는 일이에요, 다. 존슨 영국 총리가 결혼했다는 게 하루 종일 걸려 있떤 것도 처음이고 그 총리가 P4G도 처음인데, 서울회의가. 거기에 참석한 것도 처음 있는 일인데 둘 중에 왜 존슨 총리가 결혼했다는 건 하루 종일 걸려 있고 존슨 총리가 정작 우리 초유의 P4G 서울회의에 참석했다는 건 뉴스가 하루 종일 안 걸리냐는 겁니다. 뭘 기준으로 AI가 비교할 대상이 과거에 없는데 그런 AI가 지금 현재 우리 AI 발전 단계상 가능한 겁니까? 

 

▷ 박태웅 : 최근에 네이버가 자기 뉴스추천 알고리즘에 대해서 설명을 했어요. 보니까 지난주에 제가 말씀드렸던 그대로 협업 필터링 모델을 써서 추천을 한다. 그리고 공정성 관련해서, 

 

▶ 김어준 : 협업 필터링 잠깐만 설명해 주십시오, 다시 한번.

 

▷ 박태웅 : 그게 남의 데이터를 참조한다는 뜻인데요. 이 책을 산 사람이 같이 산 책이라든가 너 같은 사람이 많이 본 뉴스라든가 이런 식으로 사용자를 기반으로 하거나 상품을 기반으로 해서 추천하는 것을 협업 필터링이라고 하는데.

 

▶ 김어준 : 온라인 쇼핑몰 들어가면 흔히 나오는데요.

 

▷ 박태웅 : 흔히 볼 수 있죠. 그리고 공정성과 관련해서는 QM 알고리즘을 쓴다고 했는데 QM이 Quality Model이라는 뜻입니다. 그런데 이 QM은 바둑의 알파고라든가 아니면 중국의 안면 인식처럼 그 엄밀성이 정확성이 사람보다 낫다는 게 검증되지 않은 모델이에요. MIT에서 가짜 뉴스 골라내는 걸로 QM 모델을 한번 써 봤는데 신뢰도가 60~70% 정도가 되어 있는 아직 개발 중인 발전 중인 알고리즘입니다. 그리고 기본적으로 QM 모델은 이런 결과가 나오면 공정할 거야라는 타깃 이미지가 있어야 돼요. 그럼 그 타깃 이미지를 누가 만들어요? 사람이 만들잖아요. 

 

▶ 김어준 : 그렇죠. 이렇게 하면 공정하다는 게 사람이 정하는 건데.

 

▷ 박태웅 : 네. 사람이 정하는 거죠. 그러니까 사람이 개입하지 않는다도 틀렸고 AI가 하기 때문에 공정하다도 틀린 말이에요. 

 

▶ 김어준 : 그런데 그 모델로도 잘 이해가 안 가는 것이, 이전에 없던 일인데. 대통령이 바지에 손 닦는 일 같은 건 없는 일인데. 또는 영국 총리가 전날 결혼하고 다음 날 우리 국제정상회의에 처음으로 참석한 것도 없는 일인데 두 개를 비교해야 되잖아요, 뉴스는. AI가 비교를 한 다음에 얘는 노출할 필요가 없고 얘는 하루 종일 노출해야 돼, 이 결정을 했다는 거잖아요.

 

▷ 박태웅 : 그렇죠. 

 

▶ 김어준 : 그 로직이 뭐냐 이거예요, 도대체. 이해가 안 간다는 거예요, 저는.

 

▷ 박태웅 : 저는 선정성이 아닐까 싶어요. 

 

▶ 김어준 : 선정성이요.

 

▷ 박태웅 : 예.

 

▶ 김어준 : 그런 가설이 하나 가능한 것도 있고, 또 하나는 사람이 직접 개입한 것 아닌가? 이런 의심을 저는 끊임없이 할 수밖에 없는 상황이 되는 거죠. 도대체 뭘 기준으로 AI가. 영국 총리 사생활이잖아요. 그리고 영국 총리가 서울회의에 참석한 건 굉장히 공적인 일 아닙니까? 그러면 AI가 사적인 게 더 중요하다고 결론을 냈다는 것인가 아니면 우리하고는 상관없이 영국에서 결혼한 게 더 중요해, 우리 회의에 참석한 것보다. 이것도 이해가 안 가고. 

 

▷ 박태웅 : 네. 공정성 모델이 굉장히 심각한 하자가 있다고 보는 게 사실 가까울 것 같긴 한데요. 사람이 개입했는지 그건 증거가 없으니까. 

 

▶ 김어준 : 그러니까 거기까지는 의장님이 말씀하실 일이 아닌 것 같고 제가 가지게 되는 의문인데. 그런데 이제 일단 알고리즘만으로 한다고 하니 알고리즘만으로 한다고 하더라도 가지는 문제점이 있지 않습니까? 

 

▷ 박태웅 : 그러니까 타깃 이미지가 형편없었다고 볼 수 있죠. 

 

▶ 김어준 : 알고리즘으로 만약 했다면.

 

▷ 박태웅 : 만약 했다면. 그리고 별로 고치려고 생각도 하지 않았다. 왜냐하면 포털의 이익에는 선정적인 기사가 많이 올라가서 클릭 많이 받으면 그게 더 좋잖아요. 

 

▶ 김어준 : 그렇죠. 

 

▷ 박태웅 : 포털은 자기 이익 때문에.

 

▶ 김어준 : 포털이 뭐 언론의 공정성 문제를 위해서 탄생한 회사는 아니니까. 그리고 알고리즘으로 개인화한다, 이런 이야기들을 하지 않습니까? 그게 가진 문제가 그럼 그런 뉴스만 보게 된다, 확증편향으로 흐른다. 이런 문제도 있지 않습니까?

 

▷ 박태웅 : 그렇습니다. 사실은 더 큰 질문이, 네이버가 뉴스를 정말 사람이 개입하지 않고 AI로 하느냐보다 더 근본적인 질문이 뉴스를 알고리즘으로 추천하는 게 과연 옳은가라는 질문이에요.

 

▶ 김어준 : 근본적인 질문이죠.

 

▷ 박태웅 : 그러니까 에코챔버와 필터버블 현상이 있는데요. 에코챔버라는 건 방에서 실험을 해서 메아리가 울리게 만들어 놓은 방. 그러니까 뭐냐 하면 자기가 보고 싶은 뉴스, 듣고 싶은 뉴스만 계속 보고 들으니까.

 

▶ 김어준 : 아 하니까 더 크게 또 아로 메아리가 들려 오고 똑같은 이야기만 들린다.

 

▷ 박태웅 : 예. 끊임없이 자기 복제를 하고 있는 거죠. 그리고 필터버블이 더 끔찍한데요. 포털이나 이런 데서 너 이런 뉴스 좋아하잖아 하면서 그 입맛에 맞는 뉴스만 계속 공급을 해서 사람이 비눗방울 속에 갇히듯이 갇혀 버리는 거예요. 그 외에 다른 건 어떤 것도 보지 못하게 되는 거죠. 그런데 포털 입장에서는 이 친구가 자기가 좋아하는 걸 계속 보면서 1분 1초라도 더 머무르는 게 좋거든요. 

 

▶ 김어준 : 그렇죠.

 

▷ 박태웅 : 그러니까 수익이 그래야 더 올라가잖아요. 유튜브를 보더라도 이 사람이 밑도 끝도 없이 유튜브를 계속 보고 있어야 광고 수익이 나잖아요. 

 

▶ 김어준 : 그렇죠.

 

▷ 박태웅 : 그런데 이렇게 되면 어떤 일이 생기냐 하면 확증편향, 믿고 싶은 것만 믿고 보고 싶은 것만 보고 듣고 싶은 것만 듣고 돼서 인지편향을 굉장히 강화시켜 버려요. 그 결과로 지금 전 세계적으로 양극화하고 급진화가 문제가 되고 있습니다. 아주 단적인 예가 트럼프 트위터만 계속 본 사람들이 진심으로 선거를 빼앗겼다고 믿고,

 

▶ 김어준 : 지금도 그렇죠.

 

▷ 박태웅 : 미국 의사당을 총을 들고 가서 점거를 해 버렸잖아요. 

 

▶ 김어준 : 그랬죠. 

 

▷ 박태웅 : 그리고 우리나라에도 그런 예가 많은데, 특히 주로 나이 드신 분들이 카카오톡으로 백신을 맞았는데 다리가 터졌다, 백신을 맞고 60일 뒤에 죽었다. 

 

▶ 김어준 : 죽은 사람이 한둘이 아니다. 싸구려 백신이다. 물 백신이다. 많죠. 

 

▷ 박태웅 : 온갖 걸 듣고 백신을 맞지 않겠다고 하는 비율이 점점 올라갔잖아요. 특히 대구 같은 경우가 55%대인가 아주 굉장히 낮아요. 

 

▶ 김어준 : 그걸 필터버블이라고 한다?

 

▷ 박태웅 : 필터버블. 

 

▶ 김어준 : 그러니까 무슨 물방울처럼 그 안에 가둬 버린다. 

 

▷ 박태웅 : 예. 비눗방울처럼 사람을 가둬 버리는 거예요. 너는 이것 보고 싶어 하잖아, 하고 그것만 계속 제공을 하는 거죠. 

 

▶ 김어준 : 그러니까 포털이 그런 식으로 알고리즘을 통해서 그 사람이 한 번 보고 두 번 봤으면 세 번째도 유사한 뉴스를 보겠구나 싶어서. 이건 사실 쇼핑몰에서 나오는, 

 

▷ 박태웅 : 쇼핑몰 회사는 그래도 돼요.

 

▶ 김어준 : 그렇죠. 왜냐하면 망치를 산 사람은 못이 필요하겠죠.

 

▷ 박태웅 : 그렇죠.

 

▶ 김어준 : 못을 산 사람은 관련된 용품이 필요하겠죠. 그래서 끊임없이 그걸 추천하는 건데. 

 

▷ 박태웅 : 그런데 뉴스에서 이래 버리면 큰일 나는 거예요. 밸런스를 잡아 줘야 되잖아요. 이 뉴스, 이 주장을 들었으면 저 주장도 들을 기회를 줘서 두 개를 다 들어 보니 이렇구나 할 기회를 줘야 되는데 이게 쇼핑몰 주인처럼 장삿속으로 들어가 버리면 끊임없이 확증편향을 인지편향을 유도시키는 결과적으로 그렇게 되는 거죠. 

 

▶ 김어준 : 포털은 기사가 그냥 쇼핑몰의 상품이니까요. 

 

▷ 박태웅 : 그렇습니다.

 

▶ 김어준 : 언론사가 아니니까요, 스스로. 그런데 실제로는 어떤 언론사보다 막강한 전 국민 70%를 상대하는 언론사가 되어 있잖아요.

 

▷ 박태웅 : 지금은 명백히 언론사 위의 언론사죠. 

 

▶ 김어준 : 그러니까요. 초언론사인데, 사실.

 

▷ 박태웅 : 예를 들어서 CP 있지 않습니까? 기사 홍보반의 CP가 아니면 한국에서 독자들을 만날 기회가 급격히 줄어 버려요. 

 

▶ 김어준 : 그렇죠. 포털의 뉴스 공급업체로 들어가지 않는 한 존재하지 않는 언론사처럼 취급되죠. 

 

▷ 박태웅 : 그리고 QM 모델을 노즐을 몇 개 돌리면 어떤 언론사가 훨씬 더 많이 나오게 할 수 있고 적게 나오게 할 수 있어요. 

 

▶ 김어준 : 그건 스트레이트가 사실은 데이터로 보여 준 바죠. 

 

▷ 박태웅 : 그러니까 QM 모델의 요소별 믹싱 비율을 결정하는 건 사람이니까. 

 

▶ 김어준 : 그러니까요. 어떻게 결정했는지 우리가 알 수가 없고, 공개 안 한다고 하고. 

 

▷ 박태웅 : 그러니까 사실은 네이버하고 다음이 뉴스를 계속 공급을 하고 싶다면 이런 필터버블이나 에코챔버 현상이 나타나지 않게 하기 위해서 우리가 어떤 일을 하고 있다는 걸 보여 줄 책임이 있는 거예요. 

 

▶ 김어준 : 저도 그렇게 생각하는데. 그런데 정치권에서 논의 중에, 오늘 김용민 최고위원이 나와서 제가 여쭤보는 건데. 물론 그렇게 확정된 건 아닌데. 이 여러 가지 논의들이 가진 한계가 있어서 결국은 포털 메인 화면에 뉴스 노출을 못 하게 해야 되는 것 아니냐, 이 논의를 하고 있다고 하더라고요. 법률적인 검토가 많이 이루어져야 되겠지만 그 대목에 대해서는 어떤 의견이십니까? 

 

▷ 박태웅 : 그것 좀 조심스러운데. 제 생각에는,

 

▶ 김어준 : 전문가로서 의견. 

 

▷ 박태웅 : 불량 식품들을 발견하면 판매를 금지시키지 않습니까? 

 

▶ 김어준 : 당연히 그렇게 하죠. 

 

▷ 박태웅 : 그 음식을 이렇게 만들어야 된다 저렇게 만들어야 된다고 정부에서 이야기하지는 않아요. 그냥 사람 몸에 나쁘지 않은 어떤 기준을 정해 놓고 이 기준에 맞춰서 음식을 판매해야 된다고 말하죠. 

 

▶ 김어준 : 그렇죠.

 

▷ 박태웅 : 가령 냉장이 꼭 필요한 식품들은 콜드체인이 제대로 갖춰져 있는지를 확인해서 중간에 썩게 되어 있으면 중단을 시키고. 뉴스 같은 경우에도 사실은 이거 공정하다 하는 걸 입증할 책임은 포털에 있고요. 필터버블이나 에코챔버 현상을 막기 위해서 어떤 일도 한 게 없고 실제로 그런 게 나타나고 있으면 판매를 금지시켜야죠. 불량 식품이잖아요. 

 

▶ 김어준 : 개인 의견이십니다만. 그러니까 그 모델들은 전 세계에 있죠. 구글도 있고 여러 가지 모델들이 있죠. 그러면 구글이 뉴스를 메인 화면에 걸지 않아서 망했느냐. 전 세계 최고의 기업 아닙니까? 

 

▷ 박태웅 : 네. 

 

▶ 김어준 : 그런데 지금 우리나라 포털은 뉴스가 미끼 상품이 되어서 그 미끼 상품이 포털의 수익을 올려 주기 위해 보조 역할을 하라고 하는 건데 그러기에는 뉴스가 너무 중요하지 않습니까, 전 국민한테?

 

▷ 박태웅 : 그렇습니다. 이게 사실은 사람들이 지금 이야기하지 않고 있는 가장 중요한 알고리즘이 남아 있어요. 그게 뭔가 하면 네이버하고 다음이 언론에 수익을 지급하는 알고리즘이에요. 

 

▶ 김어준 : 아, 돈 주죠.

 

▷ 박태웅 : 예. 그 돈을 어떤 기준으로 주는가가 가장 중요한 알고리즘인데 그것에 대해서 이야기가 안 되고 있어요. 그 기준이 뭐냐 하면 클릭 수가 많으면 돈을 더 주고, 더 많은 기사를 생산하면 돈을 더 주고, 구독자가 늘어나면 돈을 더 줘요. 그러니까 무슨 뜻인가 하면 이 알고리즘이 갖고 있는 전제는 클릭을 많이 받는 기사가 좋은 기사다. 기사를 많이 생산할수록 좋은 언론사다. 이게 동의가 되십니까? 

 

▶ 김어준 : 그러니까 기자들이 기사를 쓰느라 취재를 못 한다고 하는 희대의, 그러나 요즘 기자들은 다들 동의하는 현상이 나오는 것 아닙니까? 거기다가 막 채워 넣고 있는 거예요, 끊임없이.

 

▷ 박태웅 : 그러니까 언론사의 클릭을 올리기 위한 미끼 상품 제작사로 전락을 한 거예요.

 

▶ 김어준 : 맞습니다.

 

▷ 박태웅 : 그러니까 이게 기본적으로 클릭을 많이 받아야 되고 기사량이 많아야 되니까 계속 기사를 내보내면서 충격, 헉, 경악, 단독 막 붙이는 거예요. 

 

▶ 김어준 : 의장님, 시간이 다 됐네요.

 

▷ 박태웅 : 아, 그렇습니까?

 

▶ 김어준 : 한 주 더 해야 되겠네요, 이거. 

 

▷ 박태웅 : 큰일 났네.

 

▶ 김어준 : 크게 동의하는 바고요. 그러면 이제 다음 단계, 이러한 현상들이 있고 그럼 이건 어떻게 개선해 나가야 되는가. 정치권에서 논의가 되고 있지만 IT 전문가로서 이야기도 좀 들어 보고 싶습니다. 오늘은 여기까지 듣고 다음에는 저희가 시간 길게 마련하겠습니다. 박태웅 의장이었습니다. 감사합니다. 

 

▷ 박태웅 : 고맙습니다.