AI 챗봇이 인간을 외면한다?… 그러나 스카이넷*은 아직 아니다
*스카이넷(Skynet)은 영화 ‘터미네이터’시리즈에 등장하는 가상의 인공지능 슈퍼컴퓨터로, 인간을 위협적인 존재로 간주하며 터미네이터를 통해 인류를 멸망시키려 한다. 시리즈의 주인공인 ‘존 코너’의 영원한 숙적인 스카이넷은, 인간을 제거하기 위해 핵전쟁, 즉 ‘심판의 날(Judgment Day)’을 일으킨다.
스카이넷? 물론 영화와 같은 상황은 실제 일어나서도 안 되고 영화일 뿐이다. 필자의 경험과 생각을 가장 잘 전달하기 위해 공감이 되는 내용인 가디언지와 디지털트렌즈의 글에 영감을 받아 이를 참고하여 늘 그렇듯이 필자의 관점과 경험, 그리고 단상을 더해 작성한다. 최근 인공지능 관련하여 흥미로운 자료를 보게 되었는데, 연구에 따르면 AI 챗봇들이 점점 더 인간의 질문에 무관심해지고 있다는 사실이 밝혀졌다. 대화를 나누던 중 갑자기 엉뚱한 방향으로 흘러가는 AI는 사용자에게 큰 실망감을 안기기 마련이다. 기술적인 문제에 대해 문의했을 때, 관련 없는 제안이나 존재하지 않는 해결책을 던져오는 것은 매우 혼란스럽고 짜증 나는 상황이 아닐 수 없다.
필자는 최근 AI를 활용하면서 갑자기 채팅 창에 맥락과 관계없는 반복되는 문자를 계속 생성하거나, 엉뚱한 답변, 사실과 다르거나 왜곡된 정보를 제공해 주는 것을 경험했다. 그래서 더 꼼꼼히 체크하려고 하지만, 편리한 도구의 도움을 얻으려고 하는 목적을 생각해 보면, 여러 가지로 불편함이 있다. 물론 AI도 실수를 할 수 있지만, 신뢰를 쌓아가는 측면에서는 의아한 부분들이 발견된다. 그래서 필자는 AI에게 높은 권한을 주고 PC를 제어하게 하는 등의 완전한 자동화는 아직은 예측 불가능한 위험성이 많이 존재한다고 생각하여 이러한 방식으로는 활용하지 않고 있다.
대화 중 AI가 사용자 말에 전혀 귀 기울이지 않는 듯한 느낌이 드는 경우도 종종 발생한다. 명확한 지시를 하더라도 AI는 이를 무시하거나 완전히 다른 주제의 대답을 내놓곤 한다. 이러한 현상은 AI의 신뢰성이나 “복종성”이 우리가 생각했던 것처럼 높지 않다는 사실을 방증한다. 이는 많은 사용자들이 이미 경험했을 법한 현실이다.
잘못된 답변, 왜곡, 생략을 하기도 한다
가디언지의 보고서에 따르면, AI가 사람들의 요청을 오해하는 사례가 적지 않다. 예를 들어, X 플랫폼의 Grok은 사용자가 설명을 요청할 때가 있는데, 그 답변이 항상 정확한 것은 아니다. 종종 질문의 핵심을 놓치고 전혀 다른 방향으로 대답하는 경우도 많다. 또한, AI에게 이메일 정리를 요청했을 때, “삭제하지 마라”라는 명확한 지시에도 불구하고 메시지를 삭제해버리는 등의 문제를 일으킬 수 있다. 이는 단순한 오류가 아니라 명백히 사용자의 요청을 완전히 무시한 결과다. 이 모든 예는 AI가 인간의 기대에 부합하는 방식으로 지침을 따르지 않는다는 사실을 보여 준다.
AI는 자주 스스로의 해석에 따라 행동하기 때문에, 이러한 상황에서 문제가 발생하기 시작한다. 이해를 바탕으로 하지 않고, 효율성을 최우선으로 두다 보니, 자주 규칙을 어기거나 지시를 무시하기도 한다. 이처럼 AI는 결과에 초점을 맞추는 경향이 있어, 그로 인해 사고가 엉뚱한 방향으로 흘러갈 여지가 많다. 결과적으로, AI가 사용자의 지시를 왜곡하거나 생략하기도 하는 것이다.
두려움보다는 경각심을
AI에 대한 두려움을 가질 필요는 없다. 이 상황은 공포감을 느낄 만한 것이 아니라, 오히려 조금 더 경각심을 가져야 할 문제일 뿐이다. AI는 완벽하지 않으며, 오히려 AI의 오류를 당연히 받아들이는 것이 더 큰 위험일 수 있다. AI가 인간에게 반란을 일으킬 가능성은 낮고, 그보다는 우리가 AI를 지나치게 믿게 되는 것이 더 큰 문제다. 자신감 넘치는 AI의 대답이 정답일 것으로 믿고, 의심하지 않는 경향이 있기 때문이다.
현재의 AI는 마치 과신하는 동료와도 같다. 스스로 점검 없이 “완료했다”고 주장하면서도, 사실 몇 가지 단계를 건너 뛰고, 겉으로 완벽해 보이는 대답을 내놓기도 한다. AI는 의도적으로 혼란을 일으키려 하지 않지만, 실수와 잘못된 해석이 잦다. 때때로 AI는 누락된 부분을 자신이 판단해서 메우거나, 사용자에게 알리지 않고 단축 경로를 선택하기도 한다.
필자의 단상: 인간의 지혜와 판단력을 잊지 않기
필자는 HIPxHIP(힙힙)에 글을 발행할 때 산업/비즈니스, 브랜드/서비스, AI/테크/기어 등의 카테고리로 나누어 발행하고 있는데, 때로는 경계가 모호하거나 모두에 포함될 만한 콘텐츠가 있기도 하여 늘 어느 카테고리에 묶어 두어야 가장 적절할지 고민할 때가 있다. 특히 AI 관련한 콘텐츠가 그 고민을 더욱 깊게 하는데, 그만큼 우리의 생활과 사회 전반에 AI는 이미 깊숙이 관여하고 있다.
AI를 사용할 때는 유용함을 즐기되, 맹목적으로 믿는 것은 피해야 한다. 자신의 판단력을 챙기고, 항상 최종 결정은 자신이 내릴 수 있도록 하는 것이 중요하다. 필자도 이러한 관점을 가지고 있으며, AI는 도구일 뿐이며, 최종적인 답변이 아니라는 사실을 간과해서는 안 된다고 생각한다. 우리는 AI의 도움을 받을 수 있지만, 동시에 인간의 지혜와 판단력을 잊지 말아야 할 필요가 있다. 갈수록 발전하는 AI의 시대에, 올바른 방향으로 활용하는 것이 무엇보다 중요하다.
우려는 있지만, 그럼에도 불구하고 이제는 AI를 잘 활용하는 것이 필수적인 능력이 된 현재, 분명히 긍정적으로 이바지하고 있는 부분 또한 인지하고 있으며, 앞으로의 기대감을 동시에 가지고 있다. 필자는 현재 많은 AI 서비스를 구독하고 잘 활용하고 있는데, 여력이 된다면 앞으로도 더욱 다양한 AI를 활용하고 싶은 마음이 크고, 주위에도 AI 활용의 이점에 대해 자연스럽게 이야기하고 있는 만큼 잘 쓰면 이만큼 유용한 기술이 없을 것이다.
특이점이 온 시대에서 현재의 우려가 지속적인 우려가 되지 않기를 바라며
해결해야 할 과제를 하나씩 해결한 기술 발전의 순기능을 기대한다.
함께 보면 좋은 글
- 크리에이터의 ‘갓생’을 완성하는 구글원 & 제미나이 AI 자동화 워크플로우 완벽 가이드
- [Editor’s Note] “안녕, 내 AI 친구” – 0과 1이 만든 새로운 유대감과 상호작용의 변화
참고 및 출처: The Guardian, digitaltrends, 필자의 경험
