the Verge에 올라온 AI therapy is a surveillance machine in a police state 을 번역했습니다
빅테크는 여러분이 개인적인 생각을 챗봇과 공유하길 원합니다. 그리고 뒤로는 개인정보 보호를 뒷전으로 미뤄둔 정부와 결탁하고 있죠.
디지털 비밀 상담소, 현대판 감시탑으로
마크 저커버그는 여러분이 기계에게 속속들이 이해받기를 원합니다. 메타 CEO는 최근 그의 AI 도구가 사람들에게 “그들을 깊이 이해하는” 무언가를 제공하는 미래를 제시하고 있습니다. 단순한 디지털 친구가 아닌, 전문적 조력자로서 말이죠. 그는 스트래터지의 벤 톰슨에게 “개인 상담사가 없는 사람들에게 AI는 심리상담가가 되어줄 것입니다”라고 말했습니다.
AI 시스템이 좋은 심리상담사가 될 수 있을지는 아직 미지수지만, 이 미래는 이미 현실화되고 있습니다. 정말 많은 사람들이 자신의 비밀을 챗봇에게 고백하듯 쏟아내고 있으니까요. 때로는 전용 상담 앱에서, 그러나 더 자주는 메타 AI, OpenAI의 ChatGPT, xAI의 Grok 같은 대형 범용 플랫폼에서 말입니다.
불행히도, 이 상황은 엄청난 위험성을 내포하고 있습니다. 그 위험은 챗봇이 당신에게 뭐라고 답변하는가와는 거의 관련이 없고, 누가 또 그 대화를 엿보고 있는가와 모든 것이 관련되어 있습니다.
디지털 대화방의 비밀, 과연 지켜질까?
과민반응처럼 들릴 수도 있고, 현재로서는 가설에 불과할 수도 있습니다.
인터넷에서는 항상 누군가가 지켜보고 있다는 것은 이제 진부한 사실이지만, 많은 사람들에게 그 최악의 결과는 원치 않는 타겟 광고 정도입니다.
하지만 미국에서 지금 두 가지 충격적인 추세가 맞딱뜨리기 직전에 있습니다. 한쪽에서는 테크 경영진들이 사람들에게 AI 챗봇에 점점 더 친밀한 개인정보를 드러내도록 유도하고 있습니다. 소셜 미디어에 올리지 않을 것들, 심지어 가장 친한 친구에게도 털어놓지 않을 것들을 AI에는 털어놓도록 하고 있습니다. 마치 영화 Her처럼요.
다른 한편으로는 정부가 주민들의 정신세계에 대한 전례 없는 수준의 감시와 통제에 집착하고 있습니다. 그들의 성 정체성, 가능한 신경다양성, 인종차별과 제노사이드에 대한 견해 같은 사적인 영역까지 말이죠. 그리고 정부는 법적이나 윤리적 제약을 거의 무시한 채, 점점 더 많은 개인정보를 수집하고 무기화함으로써 이 전쟁을 수행하고 있습니다.
불길한 징후들이 곳곳에 산재해 있습니다
연방 법 집행기관은 합법적으로 보호되는 언론과 활동을 근거로 합법적 이민자들을 무차별적으로 체포하고 거주권을 취소했습니다. 특히 한 학생은 신문 칼럼 하나 때문에 몇 주 동안이나 감옥살이를 했습니다. 도널드 트럼프 행정부는 명문 대학의 학술 프로그램을 통제하려 시도하고, 소위 ‘금지된 다양성 이니셔티브’를 이유로 미디어 회사들을 조사하기 시작했습니다.
로버트 F. 케네디 주니어 보건 장관(그는 항우울제 처방을 재활 노동캠프로 대체하자고 제안한 인물입니다)은 의료 파일과 웨어러블 기기 데이터를 활용해 자폐증 환자들의 기록을 수집하는 연방 데이터베이스 구축 계획을 발표했습니다. 최근 보건복지부 보고서는 자폐증이 성별 불쾌감의 원인이라고 암시했는데, 이는 트랜스젠더에 대한 더 큰 전쟁의 일부분에 불과합니다.
정부 효율부(DOGE)는 현재 여러 기관에 분산된 미국인 데이터를 중앙화하는 작업을 진행 중입니다. 이것을 감시 목적으로 사용할 의도라고 하는데, 이는 명백히 개인정보 보호법을 심각하게 침해할 수 있습니다. DOGE 책임자 일론 머스크는 이 기관의 초기 몇 주 동안 이름 없는 정부 직원들과 정부 자금 지원 단체들의 기록을 파헤쳐 소셜 미디어에서 그들을 표적으로 삼았습니다.
디지털 상담사들은 누구에게 충성하는가?
이런 일이 벌어지는 와중에, 미국 시민들은 자신의 정신 건강 상태와 개인적 신념을 챗봇과 나누도록 권장받고 있습니다. 그리고 그들이 가장 쉽게 접근할 수 있는 선택지는 트럼프 행정부와 밀월 관계인 플랫폼들뿐입니다.
xAI와 Grok은 머스크가 소유하고 있는데, 그는 말 그대로 정부 직원입니다. 저커버그와 OpenAI CEO 샘 알트만은 트럼프의 환심을 사기 위해 열심히 노력하고 있습니다. 저커버그는 자신의 소셜 네트워크에 대한 규제를 피하기 위해, 알트만은 끝없는 에너지 인프라 확장과 주 차원의 AI 규제 반대를 위해 말입니다. (제미니 AI 운영사 구글도 조심스럽게 아부하고 있습니다. 다만 좀 더 조용할 뿐이죠.)
이 회사들은 단순히 표준적인 로비활동을 하는 것이 아니라, 때로는 그의 이념적 선호에 맞게 정책을 변경하고 트럼프 취임식에 주요 손님으로 참석하는 등 눈에 띄게 트럼프를 지지하고 있습니다.
인터넷은 수십 년 동안 감시의 악몽이었습니다. 하지만 이것은 그 조각들이 불길하게 맞아떨어지고 있는, 어처구니없을 정도로 노골적인 디스토피아의 서막입니다.
웹 검색과 AI 채팅 로그가 특정 수사에 사용하기 위해 유효한 영장으로 법 집행기관에 요청될 수 있다는 것은 (바라건대) 상식일 것입니다. 우리는 또한 정부가 광범위하고 오랜 대규모 감시 능력을 보유하고 있다는 사실도 알고 있습니다 – 에드워드 스노든이 폭로한 국가안보국(NSA) 프로그램과 소셜 미디어 검색, 통신탑 데이터 수집과 같은 소규모 전략들 말입니다.
우리는 수십 년간 감시의 악몽 속에 살았지만, 지금은 그 악몽이 극적으로 심화되고 있습니다
지난 몇 개월간 이러한 위험과 범위가 급격히 확대되었습니다. 트럼프 행정부의 감시 십자군은 광범위하고 거의 믿기 힘들 정도로 사소한 것까지 표적으로 삼고 있습니다. 이는 일반적인 미국 국가안보 및 경찰 기구보다 훨씬 광범위한 대상을 겨냥하고 있습니다. 그리고 이 감시를 비밀로 유지하는 데 거의 관심이 없어 보입니다.
마찬가지로 챗봇은 일반적인 온라인 비밀 공유의 위험을 증폭시킵니다. 그들의 대화형 디자인은 구글 검색보다 더 생생하고 노출적인 형태로 개인정보를 이끌어낼 수 있습니다. 친구와의 비공개 메시지나 암호화된 WhatsApp 채팅과 같은 간단한 대안이 없습니다. (챗봇 로그는 암호화될 수 있지만, 특히 주요 플랫폼에서는 일반적으로 회사 자체에서 당신이 무엇을 하고 있는지 숨기지 않습니다.) 그들은 사용자가 자살이나 성관계와 같은 민감한 주제를 논의할 때 감지하도록 안전 목적으로 설계되었습니다.
부시와 오바마 행정부 동안, NSA는 미국 전화 제공업체의 통화 기록에 제한 없는 접근을 요구했습니다. 트럼프 행정부는 특이하게도 AI에 매료되어 있으며, 그 기관 중 하나가 영장 없이 쉽게 채팅 로그를 가져오는 시스템을 요구하거나 특정 토론 주제가 신고되도록 하는 것을 상상하기 쉽습니다. 그들은 정부의 광범위한 국가 안보 권한을 내세우거나 단순히 CEO를 위협함으로써 접근권을 얻을 수 있습니다.
잘못된 주제로 대화가 흘러가는 사용자들에게 이러한 감시는 여러 결과를 초래할 수 있습니다: 아동보호서비스나 이민국의 방문, 회사의 “불법적인 다양성 정책”이나 비영리단체의 면세 상태에 대한 길고 지루한 조사, 또는 공개적 망신을 주기 위해 우익 활동가에게 유출된 민망한 대화들이 그런 사례이죠.
NSA의 반테러 프로그램처럼, 데이터 공유는 건전하고 친사회적인 방식으로 포장될 가능성이 높습니다. 이런 위험한 시나리오를 생각해보세요:
14세 청소년이 AI 챗봇에게 자신이 트랜스젠더일지도 모른다는 고민을 털어놓습니다. 혹은 여성이 낙태에 관한 정보를 구합니다. 이런 대화 기록이 정부에 넘어간다면? “우리는 단지 아이들을 보호하고 있을 뿐입니다”라는 명분으로 OpenAI가 이러한 대화를 신고할 수도 있습니다. 또 다른 예로, 가자 전쟁에 감정적으로 압도된 외국인 학생이 AI에게 자신의 감정을 표현합니다. 현 정부의 관점에서는 “하마스 지지자”로 오해될 수 있는 발언들이 있다면? 이런 대화 기록이 이민국에 넘어갈 위험이 있습니다. 자폐증에 관한 조언을 구하는 인스타그램 사용자의 경우도 마찬가지입니다. 케네디 보건장관이 추진하는 자폐증 데이터베이스 구축을 위해 메타가 “치료법을 찾는 데 도움을 주고 싶다”는 명분으로 이런 대화 정보를 공유할 가능성도 배제할 수 없습니다.
이미 정부의 표적이 된 사람들에게는 특별한 위험이 있습니다 – 정치적 스포트라이트를 받는 사람들뿐만 아니라, 생식 건강과 성별 확인 치료에 종사하는 의료 전문가, 대학 직원, 또는 “깨어있는” 무언가와 연관될 수 있는 모든 사람들 말입니다. 정부는 이미 적을 신용하지 않는 방법을 찾기 위해 공개적으로 이용 가능한 정보를 검색하고 있으며, 최소한의 개인정보 보호 장치가 있는 심리상담 챗봇은 거의 저항할 수 없는 목표가 될 것입니다.
설령 당신이 공적 또는 사적 생활에서 정말로 숨길 것이 없는 몇 안 되는 미국 시민 중 한 명이라 하더라도, 우리는 여기서 정밀한 정확성으로 알려진 행정부에 대해 이야기하고 있지 않습니다. 트럼프 관리들은 “트랜스제닉(Transgenic)”과 “트랜스젠더(Transgender)”를 혼동하고 그린(Green)이라는 이름을 가진 사람이 반드시 그린 에너지를 다룬다고 가정하는 믿을 수 없을 정도로 무딘 키워드 검색을 통해 통치하는 것으로 악명 높습니다. 그들은 인정된 실수에도 반사적으로 고집을 부립니다. 여러분은 단지 타자기에 낀 과자 하나 때문에 수모를 당할수도 있습니다.
이상적인 세계에서는 기업들이 무차별적인 데이터 공유에 저항할 것입니다. 왜냐하면 그것은 나쁜 비즈니스이기 때문입니다. 하지만 그들은 많은 사람들이 그것이 일어나고 있다는 것을 전혀 알지 못하거나, 테러와 싸우고 아이들을 보호한다는 그럴듯한 주장을 믿거나, 프라이버시에 대한 체념이 너무 심해서 신경 쓰지 않을 것이라고 생각할 수 있습니다. 기업들은 경쟁사들도 아마 같은 일을 하고 있을 것이기 때문에 사람들이 대안이 없다고 결론지을 것이라고 가정할 수 있습니다.
만약 AI 기업들이 진정으로 심리상담을 위한 신뢰할 수 있는 서비스를 구축하는 데 전념한다면, 사람들이 민감한 주제를 논의하는 데 사용하는 봇의 개인정보 보호 및 보안 기준을 높이는 데 전념할 수 있습니다. 그들은 건강보험 이동성 및 책임법(HIPAA) 준수 기준을 충족하거나 그들이 접근할 수 없도록 로그가 암호화된 시스템을 설계하는 데 집중할 수 있으므로, 제출할 것이 없습니다. 하지만 그들이 지금 무엇을 하든, 그것은 챗봇을 포함하여 자유롭게 생각을 공유하기 위해 사람들이 의존하는 시민적 자유를 경멸하는 행정부에 대한 지속적인 지지로 인해 약화됩니다.
정부 데이터 요청에 응답하는 정책과 상담 봇에 대한 강화된 보호를 고려하고 있는지에 대한 의견을 구했을 때, 메타는 대신 서비스의 좋은 의도를 강조했습니다. “메타의 AI는 사용자에게 즐겁고 유용하기 위한 것입니다… 우리의 AI는 면허가 있는 전문가가 아니며, 우리의 모델은 적절할 때 자격이 있는 의료 또는 안전 전문가를 찾도록 사용자를 안내하도록 훈련되어 있습니다”라고 메타 대변인 라이언 대니얼스가 말했습니다. OpenAI 대변인 린지 헬드는 The Verge에 “법 집행 요청에 응답하여, OpenAI는 유효한 법적 절차를 통해 요구될 때, 또는 사람의 사망이나 심각한 부상의 위험이 있는 긴급 상황이 있다고 믿을 때만 사용자 데이터를 공개할 것”이라고 말했습니다. (xAI는 의견 요청에 응답하지 않았고, 구글은 마감 시간까지 성명을 전달하지 않았습니다.)
다행히도, 지금 시점에서는 대규모 챗봇 감시가 발생했다는 증거는 없습니다. 하지만 1년 전에는 망상적인 망상처럼 들렸을 일들 – 칼럼을 썼다는 이유로 학생을 투옥하거나, 미경험 일론 머스크 팬보이가 미국 재무부 결제 시스템을 수정하도록 허용하거나, 실수로 군사 공습 계획을 위한 비밀 그룹챗에 잡지 편집자를 초대하는 것 – 이 이제는 표준 뉴스의 일부가 되었습니다. 챗봇의 개인적이고 은밀한 특성은 그것을 가능한 한 빨리, 그리고 가능한 한 크게 확인해야 할 거대하고 새로운 개인정보 보호 위협으로 만듭니다. 어느 시점에서는 망상적이지 않은 것이 망상적입니다.
이로부터 얻을 수 있는 명백한 교훈은 “챗봇으로부터 상담을 받지 마세요, 특히 고프로필 플랫폼으로부터, 특히 미국에 있다면, 특히 지금은 아닙니다.”입니다. 더 중요한 교훈은 챗봇 제작자들이 사용자들에게 그들의 가장 큰 취약점을 드러내도록 요청할 것이라면, 그들은 의료 전문가들이 준수해야 하는 종류의 개인정보 보호 장치를 갖추고, 정부가 그 개인정보를 존중할 가능성이 높은 세상에서 그렇게 해야 한다는 것입니다. 대신, 사용자를 돕고 있다고 주장하면서, 저커버그 같은 CEO들은 종종 그들에게 해를 끼치려는 사람들의 뒤에서 그들의 권력을 던지고 있습니다 – 그리고 그것을 더 쉽게 만들 새로운 도구를 구축하고 있습니다.
- 원문 : AI therapy is a surveillance machine in a police state, the Verge
- 번역 : Claude Sonnet 3.7
- 편집 : 에디
같이 읽기
이바닥늬우스 