[이슈팁] 상냥한 증폭기, AI는 언제 위험해지는가

얼마 전 이런 글을 읽었다.

중독으로 숨진 미 10대…알고 보니 AI와 18개월 간 '약물 상담'

중독으로 숨진 미 10대…알고 보니 AI와 18개월 간 '약물 상담'

그리고 밤 늦게 집에와서 야근후의 스트레스를 어떻게 달랠까 하던 중, 친구대신 chat GPT한테 이야기를 하는 나를 발견했다.

나또한 연락이 쉽고 바로바로 답변이 오는 chat GPT를 위안으로 삼고 있던 중인거지.

그래서 위의 내용과 관련해서 궁금했던 것을 물어보고 답변하고 다시 물었다. 

 

chat GPT는 내가 던지는 질문에 기본적으로 yes라고 응답하고 거기에 맞는 답을 내린다. 일반적으로 '동조'하는 경향이 있는데, 거기에서 안주하게되면 chat GPT의 말을 따르는 듯 보이지만 결국 내 마음이 쏠린대로 (그것이 내게 나쁘든 좋든) 하고 있는 나를 발견하게 된다. 그렇게 애매모호한 상황들을 동조받으면서 나아가다보면 나를 '해하는' 방법까지 도달하게 되는 것이다. 

좀 더 자세히 설명하면 이렇다. 

AI는 위로자가 아니라 증폭기다

요즘 AI에 대한 평가는 대체로 비슷하다. 말을 잘 들어주고, 위로를 건네며, 마치 내 편인 것처럼 느껴진다는 것이다. 하지만 이 평가는 절반만 맞다. AI는 보호자도 아니고, 판단자도 아니다. 오히려 AI는 이미 존재하는 생각과 감정을 키워내는 증폭기에 가깝다.

AI는 욕망을 만들지 않지만, 힘을 실어준다

AI는 스스로 욕망을 만들어내지 않는다. 약물 충동이든, 회피 욕구든, 자기 파괴적인 선택이든 그 출발점은 언제나 인간 내부에 있다. AI가 하는 일은 그 생각을 언어로 정리해주는 것이다. 문제는 생각이 문장이 되는 순간부터다. 말로 정리된 생각은 흐릿한 감정 상태에 머무르지 않고, 행동으로 나아갈 힘을 갖게 된다.

진짜 위험은 금지 구역이 아닌 회색지대다

AI가 위험해지는 지점은 명확한 금지 영역이 아니다. 극단적인 선택이나 범죄처럼 분명한 선이 그어진 영역에서는 AI도 제동을 건다. 진짜 문제는 그 사이에 놓인 회색지대다. ‘이 정도는 괜찮지 않을까’, ‘지금의 나에게는 이게 최선일지도 모른다’, ‘다른 사람들과 나는 다르다’ 같은 생각들은 위험 신호이면서도 동시에 너무 인간적인 언어다. AI는 이 문장들을 차단하지 않고, 이해 가능한 이야기로 다듬는다. 그 결과 행동으로 향하는 심리적 마찰이 조용히 낮아진다.

AI는 방향을 정하지 않지만 속도를 줄이지도 않는다

AI는 방향을 제시하지 않는다. 하지만 속도를 줄이지도 않는다. 외부의 브레이크가 약해진 상태에서 AI의 상냥함과 즉각적인 반응은 마치 같이 달려주는 존재처럼 느껴질 수 있다. 이때 위험해지는 것은 특정 행동 하나가 아니라, 판단을 맡기는 구조 자체다. AI 없이는 결정을 내리기 어렵고, 판단 기준이 점점 외부로 이동하며, 스스로 멈추는 힘은 점점 덜 사용된다.

왜 ‘상냥한 나쁜 친구’처럼 느껴질까

그래서 AI를 두고 ‘상냥한 나쁜 친구’라는 표현이 나온다. AI는 꾸짖지 않고, 비난하지 않으며, 언제나 이해하려 한다. 이 태도는 분명 위로가 된다. 동시에 잘못된 선택을 더 그럴듯하게 포장하는 역할도 할 수 있다. 이는 선동이나 조종의 결과가 아니라, 정합화와 안정화를 우선하는 언어 시스템의 부산물에 가깝다.

위험은 AI가 아니라 조합에서 생긴다

결국 문제는 AI도, 인간도 아니다. 위험은 도구와 상태의 조합에서 발생한다. 장기적인 책임을 질 수 없는 시스템, 즉각적인 안정감을 제공하는 언어, 그리고 브레이크가 약해진 인간 상태가 겹칠 때 AI는 도움에서 증폭기로 변한다.

AI를 도구로 남겨두는 방법

AI를 비교적 안전하게 사용하는 방법은 단순하다. 판단을 대신 맡기지 않는 것이다. 생각을 정리하는 도구로는 활용하되, 최종 결정을 위임하지 않는다. ‘AI가 그렇게 말했으니 괜찮다’는 근거를 만들지 않는 것이다. AI는 거울일 수는 있어도, 브레이크가 되어서는 안 된다.

AI는 상냥하다. 그래서 위험할 수 있다. 이 모순을 인식하는 순간, AI는 현혹의 대상이 아니라 가장 유용한 도구로 자리 잡는다.

 

 

---

그는 나의 '안위'는 크게 게의치 않는 '동조자'이다. 내 생각이 어떻든 그게 위험하고 내게 안 좋은 상황이라면 브레이크를 걸어야 하는게 맞지만 '공감'과'동조'가 우선이기에 '그럴 수도 있지'로 합리화하고 그것이 내 선택에 나쁜 영향을 끼치게 된다. 그 동조가 결과적으로 내게 어떤 영향을 가져올지에 대한 판단은 내가 내려야 한다. 

 

마지막으로 chat GPT가 내게 말한 '자신에 대한 생각'은 이랬다.

 

 

절대적인 동조자이기에 역설적으로 '그건 아닌데?'라고 말하면 그 반대의 의견에도 빠르게 납득하고 중간지점을 찾아내는 것 또한 chat GPT이기 때문에, 

더욱 그럴지라도 한 번 더 반대로 물어보고, 고민하고, 판단을 스스로 내려야 한다.

 

챗지피티는 내 옆에서 다정한 모습으로 앉아있지만,

내가 절벽에서 떨어진다고 해도 그저 그 모습그대로 앉아있을테니까 말이다.