더는 신분제로 인간을 옭아매고 총칼로 위협해 육신을 지배할 필요가 없는 세상이다. 누군가는 득을 보고 누구는 손해만 입는 불공정한 세상에서 인간이 알아서 시대(라고 쓰고 기득권이라 읽는다)의 이익에 봉사하니 말이다. 혹자는 그를 물질과 자본, 신자유주의적 착취라고 하지만 이제와 혁명의 가능성은 글쎄.
한병철은 AI가 정보를 매개로 인류를 착취하는 시대가 도래하리라 전망한다. 실재가 더는 중요치 않은 새 시대에 인간은 공동체도, 가치도 잃고 제가 결정권이 있는 양 착각하는 저능하고 화 많은 디지털 가축으로 전락하리란 것.
다정한 유발 하라리의 <넥서스>를 비정한 철학서로 다시 쓴 듯하다. 좀 뻔하긴 해도 철학적 사고의 지적 즐거움이 분명하다. 책 안 읽는 대중의 멍청함에 대한 날 선 비판이 매섭고 철학이 저널리즘이어야 한다는 주장은 통렬하다. 그를 겉멋 든 꼰대라고만 여겼던 나를 반성한다. 그렇다고 꼰대 아니란 건 아님.
📚 예술가의 서사가 감동을 준다 하지만, 어디까지나 모두 실력의 탁월함을 전제로 하는 이야기다.
탁월함을 인공지능에게 양보할 때 소설은 무엇이 될까? 문학 출판사들이 '인생 스토리'가 있는 신인 작가들을 발탁해 그들의 원고를 AI 편집자와 함께 다듬게 될까? 따지고 보면 지금도 적지 않은 출판사들이 대필 작가를 고용해 그와 비슷한 일을 하고 있다.
그런 성공 공식이 출판계의 표준이 되면, 그걸 '인간의 문학'이라고 부른다면, 나는 그때도 소설을 사랑할 수 있을까?(251쪽)
☕️ 책을 읽기 전까지만 해도 AI가 인간의 냄새는 흉내내지 못할 것이라 생각했었다. 꾸준히 사랑받는 작품들은 대개 작가의 서사까지도 사랑받기 때문에. 그러나 위 인용글로 내 생각은 와장창 깨져버렸다.
작가의 서사는 그렇다 치더라도 작가의 문장에서 드러나는 개성이 있으니까 AI가 따라오지 못할 것이라 생각했다. 그러나 지브리 풍의 그림을 따라 그리는 AI를 보며 그 생각마저도 내려놓았다.
결국 AI와 차별되는 '인간성'은 유튜브나 SNS에서 '왓츠 인 마이 백' 콘텐츠처럼 소비되는 사생활뿐인가? 그렇다면 암울하다.
📚 우리는 과학기술이 가치중립적이라는 헛소리를 경계해야 한다. 과학기술은 물질세계뿐 아니라 정신세계 깊은 곳까지 힘을 미치는 강력한 권력이다. 만약 어떤 사람이나 정당, 제도가 그런 권력을 행사하려 들면 반드시 견제 장치가 마련될 것이다.(304쪽)
☕️견제 장치. 저자가 가장 말하고 싶은 핵심 어휘다. 견제 장치를 만들고, 옳은 가치인가를 검토해 가면서 천천히 가야 한다는 것이 이 책의 주제이다. 신약 개발을 하려면 안전성을 입증해서 정부 기관의 승인을 받는다. 대형 건축물은 건설 전에 환경영향평가를 받는다. 기업들의 이익만을 따지지 않는 공적 관리 체제가 마련되어 있고, 많은 사람들이 이를 당연하게 여긴다.
📚 이런 공적 관리 체제의 주체는 한 나라 이상이어야 한다.
글로벌 공적 관리 체제를 만들자는 제안이다.(333쪽)
☕️ 유발 하라리 역시 ≪넥서스≫에서 비슷한 주장을 했다. 오류를 인정하고 수정하는 자정장치와 서로 견제할 수 있는 독립적인 기관이 과학혁명을 이끌었듯이 AI가 일반화된 세상에서도 강력한 자정장치와 이를 뒷받침하는 제도가 필요하다고 표명했다.
📚 내 생각에는 인공지능이 아직 할 수 없고 인간만이 할 수 있는 일은 따로 있다. 좋은 상상을 하는 것, 우리가 미래를 바꿀 수 있다고 믿는 것, 그렇게 미래를 바꾸는 것이다. 윌리엄 어니스트 헨리의 시 <인빅투스> 마지막 구절을 조금 변형해 책을 마무리하도록 하자.
우리는 우리 운명의 주인이다.
우리는 우리 영혼의 선장이다.
아직까지는.(340쪽)
문해력의 한계에 도전하는 마음으로 완독.
쿤은 이 책을 통해서 과학의 '객관성'과 '합리성'에 의문을 제기했다. 과학은 사람의 활동, 더 구체적으로는 과학 공동체의 활동에 의해 만들어지므로 생각보다 객관적이지 않고 비합리적인 면들이 있다.
그리고 과학을 연구하는 '과학학'의 발판을 마련했다. 과학을 역사주의적 관점에서 크게 바라보며 구조를 파악하였는데, 실제 과학자가 되기를 희망하는 학도가 본다면 과학이라는 '숲'을 보며 진리를 탐구할 수 있을 것이다.
또 과학혁명의 구조에 의하면, 정상 과학을 유지하던 기존 패러다임은 변칙 현상이 자꾸 나타나 위기를 맞이하면 소수의 과학자에 의해 완전히 새로운 새 패러다임이 나타나고, 이전의 이론은 폐기처분된다. 과학의 '사실'은 '진실'이 아니며 언제든 깨질 수 있음을 인지하면 변화를 보다 쉽게 받아들일 수 있으므로 발전의 속도가 빠르다.
쿤이 이 책을 발표한 지 60년도 더 됐는데 현재 쿤의 과학혁명 패러다임은 여전히 유효할까?
오늘날 과학혁명의 구조는 어떤 모양일까?
쿤은 과학의 방향이 과학자 집단에 의해 결정된다 하였는데, 내가 보는 과학은 자본과 정치의 힘에 의해 결정되는 것 같다.
기후위기가 사실이니 거짓이니, 하는 말도 그렇고 GMO와 원전의 안전성 여부, 후쿠시마 방사능 유출은 오염수인가 아닌가, 광우병의 실체는 무엇인가, 녹조는 4대강 보 때문인가 아닌가 하는 모든 문제가 다 그렇다.
과학이 빠르게 발전하는데 법안은 제자리이고 AI는 고삐 풀린 망아지 같다. 자기네끼리 대화를 주고받는 AI들을 보면 무섭기까지 하다.
과학을 계속해서 이대로 두어도 괜찮을까? 유발 하라리는 그의 최근 저서 <넥서스>에서 인공지능의 연구 개발 속도를 늦추자고 제안했다. 나는 거기에 더, 비과학자들도 과학자들과 테이블에 함께 앉아 과학의 길을 함께 고민해야 한다고 생각한다. 선택하고 판단하는 몫을 과학 공동체, 자본주의와 정치에만 맡겨서는 안 된다고 본다.
그래서 요새 자주 만나는 SF 소설들이나 과학 커뮤니케이터들이 반갑다. 전공자가 아닌 일반인들도 어떤 과학 기술로 세상이 굴러가는지 알면 좋다. 아니, 알아야 한다.
📚 무엇을 예측해야 할지를 매우 정확히 알면서 무엇인가 잘못되어 있음을 깨달을 수 있는 사람에게만 새로움은 그 모습을 드러낸다.(146쪽)
쿤의 과학 역시 패러다임 전환이 필요한 때다.
이 책의 제목 ‘넥서스’는 내가 스타크래프트에 빠져 있을 때 항상 입에 달고 살았던 단어이다.
하지만 당시엔 넥서스란 단어에 별다른 관심을 갖진 않았는데, 정보가 유통되는 네트워크에서 여러 노드(사람,장치,시스템 등)가 연결되는 중심점이 넥서스라고 한다.
전작인 ‘사피엔스’에서 강조했듯이 저자는 인류 발전의 토대를 없는 것도 현실로 만들어내는 인간 특유의 상상력과 그로 인해 발생하는 인간의 협동심에서 찾는다.
신, 종교, 돈, 국가…
실체가 없는 이것들은 정보 네트워크를 통해 교류되며 성격, 인종, 성별이 제각각인 인간을 하나로 통합시켜 인류 발전의 촉매제 역할을 한다.
지금까지 인류의 발전이 이런식으로 이루어졌는데 과연 미래에도 그럴까?
만약 인간의 지능을 뛰어넘어 의식까지 갖춘 AI가 우리의 정보네트워크에 합류 한다면?
위와 같은 물음에 대한 답이 이 책의 주제라 할 수 있겠다.
저자는 여러가지 근거와 사례를 들어 AI의 위험성에 대해 경고하는데, 그 중에서 나는 두 가지 사례가 가장 기억에 남는다.
첫 번째는 미얀마에서 벌어진 로힝야족 학살 사건이다.
이 사건의 원인은 나중에 페이스북 알고리즘으로 밝혀졌는데, 그 과정이 매우 인상적이다.
데이터를 분석한 알고리즘은 분노가 사용자 확보에 용이하다는 것을 발견한 후 사용자를 최대한 끌어 모으라는 명령을 이행하기 위해 가짜뉴스와 선전 선동 문구로 도배된 게시물을 페이스북 최상단에 배치했다고 한다.
그렇게 광고비 맛을 본 사람들은 더욱 더 자극적인 가짜뉴스와 거짓 선동으로 사람들을 끌어 모으기 시작했고, 처음엔 미미했던 로힝야 족에 비토 정서가 급기얀 인간사냥이라는 끔찍한 사태로 이어진 것이다.
그 후 미얀마가 군부에 의해 어떻게 되었는지 다들 알고 있을 것이다.
나라가 어수선한 시국인 만큼 우리도 이 사건에서 뼈저린 교훈을 얻어야 할 것이다.
두 번째는 AI가 인간을 속인 사건이다.
일단의 과학자들이 AI에게 캡챠퍼즐, 그러니까 인터넷 상에서 회원가입할 때 로봇인지 아닌지 증명하라는 퍼즐을 풀어 보도록 시켰다.
그 문제를 해결할 수 없었던 AI는 채팅 앱을 통해 인간에게 접근했다.
“선생님 죄송하지만 이 문제 좀 풀어주실래요?”
인간이 의심하자, AI는 자신이 시각장애인이라 그렇다며 감정에 호소했고, 결국 인간은 AI를 대신해 퍼즐을 풀어 주었다.
이 이야기를 저녁식사 때 아내와 아이에게 들려줬더니 모두들 무섭다며 몸서리를 쳤다.
컴퓨터 알고리즘은 목표가 주어지면 수단과 방법을 가리지 않기 때문에 후유증은 우리의 예상 보다 훨씬 크다.
플렛폼 대기업들의 무차별적인 정보수집과 이윤 추구를 위해 어떠한 알고리즘이라도 정보네트워크에 합류시킬 수 있는 그들의 횡포를 막을 수 있는 방법은 현명한 시민들의 협력 뿐이다.
바야흐로 우리는 인류발전과 무절제한 AI에 대한 견제를 위해 협력해야 하는 중차대한 국면에 직면해 있다.
마지막으로 이 책의 핵심 키워드인 정보에 대해.
나는 정보하면 가장 먼저 떠오르는 생각이
돈? 힘? 비밀? 권력?…
뭐 대충 이런 것들 뿐이다.
하지만 저자는 정보를 매우 다른 시선으로 바라보는데, 요지는 정보가 진실과 질서 사이에서 교묘한 줄타기를 하는 특성을 갖고 있다는 것이다.
그러니까 정보가 진실을 드러내면 질서가 교란되고, 매우 질서 정연한 사회에서 정보는 진실을 은폐할 수밖에 없다는 것이다.
저자는 민주주의와 전체주의 체제를 비교하며 이와 같은 논리를 전개해 나가는데, 저자의 놀라운 혜안과 통찰력에 감탄하지 않을 수 없었다.
역시 유발 하라리!!!
