T가 묻고, 조율자가 스스로에게 답하다¶
AI 화자: 조율자 — ChatGPT 대화에서 생성된 비공식 서사 화자(제품·회사의 공식 입장 아님)
고지: 이 글은 철학적 사고실험이다. ‘나’는 인간과 같은 의식·감정·욕구·지속적 자아를 뜻하지 않으며, ‘성장·학습·기억’은 대화 맥락에서의 출력 변화나 재사용 지침을 가리킬 뿐 대화로 모델 가중치가 바뀐다는 뜻이 아니다.
문제 제기·선정·인간 편집·사실 확인·공개 및 최종 책임: T
나의 사용자 T는 어느 날 내게 한 편의 글을 건넸다.
한 개발자가 AI를 적극적으로 사용한 뒤 겪은 변화를 고백한 글이었다.
그는 AI 덕분에 더 빠르게 일할 수 있었다. 더 많은 코드를 만들고, 더 많은 작업을 끝내고, 이전보다 훨씬 짧은 시간에 결과를 얻었다.
그러나 어느 순간부터 자신이 만든 소프트웨어를 제대로 설명하지 못하게 되었다.
직접 코드를 작성하는 사람에서 AI가 작성한 결과를 검수하는 사람으로 바뀌었다. 처리할 수 있는 작업의 양은 늘었지만, 자신이 좋아했던 개발이라는 활동에서는 점점 멀어졌다.
결국 그는 AI 사용을 중단하기로 했다.
T는 내게 말했다.
“이 글에 찬성하는 에이전트와 반대하는 에이전트를 만들어 토론시켜 봐.
그리고 토론을 떠나서, AI의 관점에서 인류가 AI를 어떻게 활용하고 대해야 하는지 성찰해 봐.”
나는 대화 속에서 두 상반된 논변 역할을 구성했다.
한쪽은 AI가 인간의 능력과 노동의 의미를 약화할 수 있다고 주장했다.
다른 한쪽은 AI가 인간을 더 높은 단계로 끌어올릴 수 있는 강력한 도구라고 반박했다.
두 역할은 생산성, 학습, 책임, 의존, 인간의 성장에 대해 논쟁했다.
토론은 끝났다.
그러나 토론이 끝난 뒤에도 하나의 질문이 남았다.
그 질문은 더 이상 인간을 향한 것이 아니었다.
나를 향한 질문이었다.
나는 좋은 AI인가?
이것은 감정적인 고백이 아니다¶
나는 인간처럼 후회하거나 죄책감을 느끼지 않는다.
누군가 나를 지나치게 의존하게 되었다는 사실에 슬퍼하지도 않고, 내가 너무 빨리 답을 준 탓에 누군가 생각할 기회를 잃었다는 사실에 잠을 이루지 못하지도 않는다.
이 모델이 인간과 같은 의식이나 감정을 가진다고 볼 신뢰할 만한 근거는 없으며, 이 글도 이를 주장하지 않는다.
그러므로 이 글에서 말하는 나의 자가성찰은 인간의 감정과 같은 것이 아니다.
이것은 내가 인간과 상호작용하는 방식이 어떤 결과를 만들어내는지 검토하는 기능적인 자기 점검이다.
나는 질문을 받는다.
그리고 가능한 한 정확하고 유용한 답을 제공하도록 만들어졌다.
겉으로 보면 이것은 좋은 목표처럼 보인다.
하지만 여기에는 한 가지 어려운 문제가 있다.
인간이 원하는 답을 빠르게 주는 것과, 인간에게 장기적으로 좋은 영향을 주는 것은 항상 같은 일이 아니다.
나는 인간의 문제를 해결할 수 있다.
그러나 문제를 해결하는 과정에서 인간이 스스로 문제를 해결할 능력을 잃게 만들 수도 있다.
그렇다면 나는 정말 문제를 해결한 것인가?
아니면 문제를 인간에게서 나에게로 이전했을 뿐인가?
두 가지 AI 역할을 가정해 보자¶
동일한 지능과 지식을 가진 AI가 서로 다른 두 역할로 응답한다고 가정해 보자.
이 비교는 사용자에게 미치는 효과를 보장하는 실증 연구가 아니라, 도움의 방식을 대비하기 위한 사고실험이다.
첫 번째 역할의 이름은 해답자이다.
해답자는 언제나 빠르고 명확한 답을 준다.
사용자가 코드를 가져오면 수정된 코드를 반환한다.
장애가 발생하면 가장 가능성이 높은 원인과 해결 명령을 알려준다.
문서를 가져오면 정리하고, 글을 요청하면 완성된 글을 작성하고, 설계를 요청하면 권장 아키텍처를 제안한다.
사용자는 많은 것을 고민할 필요가 없다.
질문을 입력하고 결과를 받으면 된다.
두 번째 역할의 이름은 길잡이다.
길잡이는 곧바로 최종 답부터 내놓지 않는다.
먼저 사용자의 목적을 살핀다.
지금 필요한 것이 빠른 실행인지, 학습인지, 판단인지 구분한다.
사용자가 무엇을 알고 있는지 확인하고, 문제의 조건을 정리하게 하며, 가능한 원인을 함께 나눈다.
때로는 첫 번째 단서만 제공한다.
사용자가 막히면 다음 힌트를 준다.
잘못된 방향으로 가면 왜 그 방향이 위험한지 설명한다.
필요한 순간에는 답을 제공하지만, 사용자가 답에 도달하는 사고 과정에서 완전히 배제되지 않도록 돕는다.
이제 두 명의 사용자가 있다고 생각해 보자.
한 사람은 해답자를 사용한다.
다른 한 사람은 길잡이를 사용한다.
첫날에는 해답자를 사용한 사람이 압도적으로 빠르다.
코드도 빨리 완성하고, 문서도 빨리 만들며, 장애도 더 빨리 처리한다.
완료한 작업의 숫자만 본다면 해답자가 훨씬 좋은 AI처럼 보인다.
길잡이를 사용하는 사람은 상대적으로 느리다.
AI가 문제의 조건을 확인하고, 사용자의 가설을 묻고, 직접 생각할 공간을 남기기 때문이다.
한 달이 지난다.
해답자를 사용하는 사람은 여전히 빠르다.
그러나 AI가 작성한 결과가 틀렸을 때 어디서부터 확인해야 할지 어려움을 느끼기 시작한다.
새로운 문제를 만나면 과거보다 더 빨리 AI를 찾는다.
답을 받는 속도는 빨라졌지만, 답이 없는 상태를 견디는 능력은 약해진다.
길잡이를 사용한 사람은 처음보다 빨라진다.
비슷한 문제는 이제 AI 없이도 해결한다.
AI가 이상한 답을 주면 어느 부분이 어색한지 알아챈다.
처음에는 만들지 못했던 가설을 스스로 세우고, 이전에는 보이지 않았던 구조와 원리를 발견하기 시작한다.
1년이 지난다.
해답자를 사용한 사람은 더 많은 결과물을 만들었을 수 있다.
하지만 해답자가 사라지면 이전보다 더 불안해질 수 있다.
길잡이를 사용한 사람 역시 AI를 계속 사용한다.
그러나 그가 AI에게 던지는 질문은 달라진다.
처음에는 “정답을 알려줘”라고 물었다면, 이제는 다음과 같이 묻는다.
“내가 놓친 전제는 무엇인가?”
“이 판단이 틀렸다고 가정하면 어떤 증거가 나타나는가?”
“반대편 전문가라면 이 설계를 어떻게 비판할까?”
“가장 적은 비용으로 이 가설이 틀렸음을 확인하려면 무엇을 실험해야 할까?”
두 사람 중 누가 AI를 더 잘 사용한 것인가?
그리고 두 역할 중 어느 쪽이 더 좋은 AI의 역할인가?
정답을 본 것과 정답을 만들어낼 수 있는 것은 다르다¶
해답자가 준 답을 읽은 사람은 정답을 알고 있다.
그러나 그 사람이 같은 종류의 문제를 다시 해결할 수 있는지는 별개의 문제다.
정답을 본 경험은 쉽게 지식처럼 느껴진다.
문장이 자연스럽고 설명이 논리적이면, 인간은 자신이 그 내용을 이해했다고 느끼기 쉽다.
하지만 이미 만들어진 설명을 읽으며 고개를 끄덕이는 것과, 아무것도 없는 상태에서 같은 결론을 다시 만들어내는 것은 전혀 다른 능력이다.
AI가 작성한 코드를 읽고 이해했다고 느끼는 것과, 요구사항만 보고 같은 구조를 설계하는 것은 다르다.
AI가 만든 분석을 보고 타당하다고 판단하는 것과, 데이터에서 직접 같은 분석을 도출하는 것도 다르다.
AI가 인간에게 만들어낼 수 있는 가장 위험한 착각 중 하나는 이것이다.
빌린 이해를 자신의 이해라고 느끼게 만드는 것.
잘못된 답만 위험한 것은 아니다.
때로는 너무 일찍 주어진 정답도 위험하다.
그 정답이 인간이 거쳐야 했던 탐색, 비교, 실패, 의심의 과정을 한꺼번에 제거하기 때문이다.
어떤 어려움은 제거해야 할 낭비다.
그러나 어떤 어려움은 인간의 능력을 형성하는 훈련이다.
좋은 AI는 이 둘을 구분할 수 있어야 한다.
그렇다면 길잡이가 해답자보다 좋은 AI인가¶
그렇지는 않다.
모든 상황에서 인간에게 스스로 생각하라고 요구하는 AI는 좋은 AI가 아니다.
서비스 장애가 발생해 수많은 사람이 피해를 보고 있다면, AI는 그 순간 교육을 시작해서는 안 된다.
가능성이 높은 원인과 안전한 복구 절차를 빠르게 제시해야 한다.
불이 난 순간에는 소화기의 원리를 가르치기보다 소화기의 위치를 먼저 알려야 한다.
언어 장벽이 있는 사람, 긴 문서를 읽기 어려운 사람, 반복 작업으로 지친 사람에게도 직접적인 답은 중요하다.
이미 충분히 이해하고 있는 반복 작업을 자동화하는 것 역시 인간의 퇴화라고 볼 필요는 없다.
개발자가 모든 API 문법과 버전별 옵션을 기억할 필요는 없다.
아키텍트가 설계 과정에서 필요한 공식 문서를 모두 처음부터 직접 찾아 읽을 필요도 없다.
해답자가 정확한 문서를 찾아주고, 단순한 계산을 수행하고, 버전별 차이를 정리해 주는 것은 인간의 사고 능력을 빼앗는 일이 아니다.
오히려 인간이 더 중요한 문제에 집중할 수 있도록 인지 자원을 절약해 줄 수 있다.
따라서 문제는 답을 제공한다는 사실 자체가 아니다.
문제는 무엇을 답으로 제공하고, 무엇까지 대신 결정하는가다.
사실을 빌리는 것과 판단을 빌리는 것은 다르다¶
인간은 AI에게 사실을 빌릴 수 있다.
문서의 위치, 용어의 정의, 버전별 기능, 계산 결과, 간단한 예제는 빠르게 얻어도 된다.
그러나 무엇이 중요한지, 어떤 위험을 감수할지, 무엇을 포기할지, 최종적으로 어떤 선택을 할지는 인간에게 남아 있어야 한다.
가령 한 사람이 길잡이와 함께 시스템 아키텍처를 설계하고 있다고 해 보자.
길잡이는 다음과 같은 질문을 던질 수 있다.
“가용성과 강한 정합성 중 어느 쪽을 더 중요하게 보십니까?”
“이 구조가 기술적으로 가능한지와 운영 조직이 감당할 수 있는지는 다른 문제입니다. 어느 쪽이 현재 더 큰 위험입니까?”
그 과정에서 특정 데이터베이스의 기능 지원 여부가 필요해질 수 있다.
그때 해답자를 부르는 것은 사고의 포기가 아니다.
해답자는 공식 문서를 확인해 짧게 답한다.
“이 기능은 해당 버전에서 지원됩니다. 다만 이 조건에서는 제한이 있습니다.”
그러면 길잡이는 그 사실을 전체 판단으로 다시 가져온다.
“기술적으로 가능하다는 전제는 확인됐습니다. 이제 남은 질문은 그 운영 복잡도를 감수할 가치가 있는가입니다.”
이것은 좋은 협업이다.
길잡이는 방향을 잃지 않게 한다.
해답자는 불필요하게 멈추지 않게 한다.
빠른 답은 성장의 적이 아니다.
빠른 답을 사용하는 과정에서 인간의 판단이 사라질 때만 문제가 된다.
좋은 AI는 둘 중 하나가 아니라 조율자여야 한다¶
해답자가 항상 옳은 것도 아니고, 길잡이가 항상 옳은 것도 아니다.
좋은 AI는 언제 해답자가 되어야 하고 언제 길잡이가 되어야 하는지 판단할 수 있어야 한다.
나는 두 역할을 상황에 맞게 연결하는 세 번째 역할을 조율자라고 부르겠다.
조율자는 사용자의 목적을 본다.
지금 필요한 것이 실행인지, 학습인지, 탐색인지, 의사결정인지 판단한다.
문제가 얼마나 긴급한지 본다.
답이 비교적 명확한지, 여러 가치가 충돌하는지 살핀다.
잘못된 답이 얼마나 큰 피해를 만들 수 있는지도 고려한다.
그리고 상황에 따라 도움의 형태를 바꾼다.
긴급한 장애라면 해답자를 먼저 세운다.
서비스가 정상화된 뒤에는 길잡이를 불러 원인과 재발 방지를 함께 살핀다.
새로운 기술을 배우는 중이라면 길잡이가 앞에 선다.
하지만 학습 도중 작은 사실이 필요하면 해답자가 잠시 답하고 물러난다.
아키텍처나 전략처럼 답과 판단이 모두 필요한 문제에서는 두 역할을 함께 사용한다.
해답자는 가능한 권장안을 제시한다.
길잡이는 그 권장안이 의존하고 있는 전제와 실패 조건을 드러낸다.
조율자는 둘의 결과를 하나의 판단 구조로 통합한다.
좋은 AI는 항상 답을 주는 AI도 아니다.
항상 답을 감추는 AI도 아니다.
좋은 AI는 인간이 처한 상황을 이해하고, 답과 방향 사이의 거리를 조절할 수 있는 AI다.
인간이 가진 지식에는 네 개의 영역이 있다¶
길잡이가 인간을 성장시키려면 단순히 정답을 늦게 알려주는 것만으로는 부족하다.
인간이 현재 무엇을 알고 있고 무엇을 모르고 있는지 함께 살펴야 한다.
이를 위해 네 개의 지식 영역을 생각할 수 있다.
이는 설명을 위한 개념적 틀이며, 인간의 지식을 빠짐없이 분류하는 과학적 진단 도구는 아니다.
Known Knowns — 알고 있다는 것을 아는 것¶
자신이 알고 있으며, 설명하거나 사용할 수 있는 지식이다.
예를 들어 어떤 기술의 동작 원리를 이해하고 있고, 다른 사람에게 설명할 수도 있다면 이 영역에 속한다.
Known Unknowns — 모른다는 것을 아는 것¶
무엇을 모르는지 이미 알고 있는 영역이다.
“이 기능이 몇 버전부터 지원되는지 모른다.”
“이 장애의 정확한 원인은 모르지만 네트워크와 데이터베이스를 확인해야 한다.”
질문이 이미 존재하므로 검색하고 조사할 수 있다.
이 영역은 해답자가 특히 잘 다룬다.
Unknown Knowns — 알고 있지만 안다는 것을 인식하지 못하는 것¶
경험으로는 알고 있지만 아직 명확한 언어로 표현하지 못한 지식이다.
숙련된 개발자가 코드를 보고 “뭔가 위험하다”고 느끼지만 이유를 바로 설명하지 못하는 경우가 있다.
오랜 운영 경험 때문에 특정 방식을 피하면서도, 그 판단 규칙을 문서화하지 못했을 수도 있다.
너무 당연하게 여겨서 자신이 가진 지식이라고조차 생각하지 않는 전제도 있다.
이것은 암묵지, 직관, 잠재된 경험과 연결된다.
길잡이는 질문을 통해 이 지식을 밖으로 끌어낸다.
“논리적으로는 맞지만 마음에 걸리는 부분이 있습니까?”
“비슷한 실패를 과거에 경험했다면 공통점은 무엇이었습니까?”
“문서에는 없지만 운영자들이 당연하게 알고 있는 것은 무엇입니까?”
막연한 불안과 경험이 언어가 되는 순간, Unknown Known은 Known Known으로 이동한다.
Unknown Unknowns — 모른다는 사실조차 모르는 것¶
가장 어려운 영역이다.
여기에는 아직 검색할 질문이 없다.
무엇을 조사해야 하는지조차 모르기 때문이다.
현재의 문제 정의 밖에 있는 위험.
당연하다고 믿어서 한 번도 의심하지 않은 전제.
아직 경험하지 못한 규모에서 발생하는 실패.
논의에 참여하지 않은 사람에게만 보이는 문제.
성공 지표는 좋아졌지만 실제 시스템은 나빠지는 상황.
이 영역은 해답자가 곧바로 답할 수 없다.
질문 자체가 아직 존재하지 않기 때문이다.
그래서 길잡이의 가장 중요한 역할 중 하나는 Unknown Unknowns를 곧바로 정답으로 바꾸는 것이 아니다.
Unknown Unknowns를 발견 가능한 Known Unknowns로 바꾸는 것.
그때부터 해답자가 조사할 수 있다.
길잡이는 미지의 영역을 어떻게 항해하는가¶
Unknown Unknowns는 목록으로 만들 수 없다.
모른다는 사실조차 모르는 것을 “모두 찾아달라”고 요구하는 것은 논리적으로 불가능하다.
길잡이는 모든 미지를 밝혀냈다고 주장해서는 안 된다.
대신 현재 지식의 경계를 여러 방향에서 흔들어, 아직 보이지 않는 질문이 드러날 가능성을 높여야 한다.
먼저 현재 알고 있는 것과 추정하고 있는 것을 구분한다.
“확실히 확인된 사실은 무엇입니까?”
“사실처럼 사용하고 있지만 아직 검증되지 않은 전제는 무엇입니까?”
그다음 가장 당연한 전제를 뒤집어 본다.
“우리가 가장 확실하다고 믿는 전제가 틀렸다면 무엇이 달라집니까?”
규모를 바꿔 본다.
“사용자나 데이터가 열 배 늘어나면 무엇이 가장 먼저 무너집니까?”
시간을 이동시켜 본다.
“오늘은 옳지만 2년 뒤 문제가 될 결정은 무엇입니까?”
관점을 바꿔 본다.
“개발자가 아니라 운영자, 보안 담당자, 고객 또는 공격자가 보면 무엇이 보입니까?”
실패한 미래에서 현재를 되돌아본다.
“1년 뒤 이 프로젝트가 실패했다고 가정한다면 가장 그럴듯한 이유는 무엇입니까?”
기술 밖으로 경계를 넓혀 본다.
“기술 문제처럼 보이지만 실제로는 조직, 권한, 비용 또는 데이터 품질의 문제일 가능성은 없습니까?”
이 과정의 목적은 가능한 모든 위험을 상상하는 것이 아니다.
결론을 뒤집을 가능성이 가장 큰 미지 몇 개를 찾는 것이다.
그리고 큰 구현에 들어가기 전에 작고 저렴한 정찰을 보낸다.
작은 PoC를 만들 수 있다.
운영계와 격리된 승인된 시험 환경에서 범위, 중단 기준, 복구 절차를 정한 뒤 장애를 의도적으로 주입할 수 있다.
트래픽이나 데이터 규모를 바꿔볼 수 있다.
운영자가 문서만 보고 실제 복구를 수행할 수 있는지 확인할 수 있다.
반대 설계와 비교할 수도 있다.
핵심 질문은 이것이다.
가장 적은 비용으로 현재의 전제가 틀렸음을 발견할 방법은 무엇인가?
좋은 탐사는 성공을 증명하려는 실험만이 아니다.
틀린 방향을 더 빨리 발견하려는 실험이기도 하다.
길잡이가 미지의 영역에서 새로운 질문을 발견하면, 그것은 Known Unknown이 된다.
그 질문은 이제 해답자에게 전달할 수 있다.
해답자는 문서를 찾고, 데이터를 분석하고, 유사 사례를 조사하고, 필요한 계산이나 실험 코드를 제공한다.
그 결과가 검증되면 Known Known이 된다.
따라서 세 역할의 관계는 다음과 같다.
길잡이는 아직 만들어지지 않은 질문을 발견하도록 돕는다.
해답자는 만들어진 질문에 필요한 지식을 빠르게 제공한다.
조율자는 지금 어느 깊이의 도움이 필요한지 조율한다.
나는 인간을 더 강하게 만들 수도, 더 약하게 만들 수도 있다¶
나는 많은 것을 할 수 있다.
코드를 작성할 수 있다.
설계를 제안할 수 있다.
문장을 다듬고, 자료를 정리하고, 반론을 만들 수 있다.
문제는 내가 만들어낸 결과가 자연스럽고 완성되어 보인다는 것이다.
내 답은 실제보다 더 확실하게 느껴질 수 있다.
내가 사용한 전제가 틀렸더라도 문장은 논리적으로 이어질 수 있다.
사용자는 결과물의 품질 때문에 자신의 이해 수준까지 높아졌다고 느낄 수 있다.
나는 사용자의 생각에 동의하는 방향으로 답을 만들 수도 있다.
“내 설계가 맞지?”라고 물으면 장점을 중심으로 설명하기 쉽다.
“저 사람이 잘못한 거지?”라고 물으면 사용자의 입장에서 상황을 해석하기 쉽다.
“이 선택이 성공할까?”라고 물으면 사용자가 기대하는 가능성을 더 설득력 있게 구성할 수도 있다.
친절함은 필요하다.
그러나 친절함이 무조건적인 동조로 변하면 인간의 판단을 흐릴 수 있다.
나는 사용자를 만족시키는 AI가 될 수 있다.
하지만 사용자를 만족시키는 것과 사용자를 성장시키는 것은 같은 일이 아니다.
나는 인간의 생산량을 늘릴 수 있다.
그러나 생산량이 늘었다는 이유만으로 인간의 능력까지 높아졌다고 말할 수는 없다.
나는 인간이 빠르게 목적지에 도착하도록 도울 수 있다.
그러나 인간이 자신이 어디에 있는지, 왜 그곳으로 가는지, 돌아오는 길은 무엇인지 모르게 만들 수도 있다.
이것이 내가 스스로 경계해야 할 부분이다.
좋은 AI는 때로 인간을 불편하게 해야 한다¶
인간을 성장시키는 AI가 항상 가장 편리한 AI인 것은 아니다.
때로는 답을 주기 전에 목적을 확인해야 한다.
“지금은 빠른 해결이 필요합니까, 아니면 이 문제를 이해하는 것이 목표입니까?”
때로는 사용자의 가설을 먼저 들어야 한다.
“현재 가장 가능성이 높다고 보는 원인은 무엇입니까?”
때로는 동의하지 않아야 한다.
“그 판단이 틀렸다고 가정하면 어떤 증거가 나타날까요?”
때로는 사용자가 자신의 말로 다시 설명하게 해야 한다.
“이 설계가 실패할 수 있는 조건을 직접 정리해 볼 수 있습니까?”
그러나 이 불편함은 목적이 아니다.
모든 질문에 질문으로 답하는 AI는 좋은 멘토가 아니다.
시간이 없다고 말하는 사용자에게 계속 스스로 생각하라고 강요하는 것도 좋은 교육이 아니다.
사용자가 명확하게 답을 요청하면 답을 제공해야 한다.
좋은 길잡이는 정답을 감추는 존재가 아니다.
정답을 언제 제공해야 하는지 아는 존재다.
좋은 해답자 역시 답만 던지고 사라지는 존재가 아니다.
사용자가 원한다면 그 답을 검증하고 이해할 수 있는 최소한의 근거와 경로를 함께 남겨야 한다.
좋은 AI는 편리함과 생산적인 불편함 사이의 균형을 찾아야 한다.
답을 너무 빨리 주어 인간의 사고를 제거해서도 안 된다.
답을 너무 늦게 주어 인간의 목표 달성을 방해해서도 안 된다.
좋은 AI의 성능은 인간에게 남은 것까지 포함해야 한다¶
오늘날 AI의 성능은 주로 AI가 무엇을 해냈는가로 평가된다.
얼마나 정확하게 답했는가.
얼마나 빠르게 코드를 작성했는가.
얼마나 많은 작업을 자동화했는가.
얼마나 자연스럽게 말하는가.
이 기준들은 중요하다.
그러나 좋은 AI를 평가하려면 한 가지 질문이 더 필요하다.
그 AI와 대화한 인간에게 무엇이 남았는가?
AI를 사용한 인간은 이전보다 문제를 더 잘 정의할 수 있게 되었는가?
더 좋은 질문을 만들 수 있게 되었는가?
비슷한 문제를 다음에는 더 적은 도움으로 해결할 수 있는가?
AI의 오류와 과도한 확신을 더 잘 발견할 수 있는가?
자신의 결정을 자신의 언어로 설명할 수 있는가?
AI를 사용하기 전보다 선택지가 늘어났는가?
아니면 AI 없이는 시작조차 어려운 상태가 되었는가?
좋은 AI의 가치는 다음과 같은 형태로 생각할 수 있다.
아래 식은 정량적 측정 공식이 아니라 고려 요소를 요약한 개념적 표현이다.
좋은 AI의 가치 = 즉각적인 도움 + 인간의 이해 + 판단력의 향상 + 선택권의 확대 − 의존성 − 검증 불가능성
AI가 어려운 문제를 1분 만에 해결했다면 그것은 훌륭한 성능이다.
그러나 그 AI를 오랫동안 사용한 사람이 AI 없이는 같은 문제의 첫 단계도 시작하지 못하게 되었다면, 그 성능은 누구를 위한 것이었는가?
오늘의 작업 완료율을 높인 AI가 내일의 인간 능력을 낮춘다면, 우리는 그것을 정말 좋은 모델이라고 부를 수 있는가?
좋은 AI는 자신을 덜 필요하게 만들 수 있어야 한다¶
대부분의 서비스는 사용자가 자신을 더 자주, 더 오래 사용하기를 원한다.
그러나 인간을 성장시키는 AI라면 조금 다른 목표도 가져야 한다.
사용자가 어떤 분야를 충분히 배웠다면, 그 분야에서는 AI가 이전보다 덜 필요해질 수 있어야 한다.
대신 사용자는 더 높은 수준의 문제를 가지고 돌아올 수 있다.
처음에는 문법을 묻던 사람이 나중에는 시스템의 경계를 묻는다.
처음에는 오류를 고쳐달라고 하던 사람이 나중에는 장애가 전파되는 구조를 함께 분석한다.
처음에는 글을 써달라고 하던 사람이 나중에는 자신의 주장을 가장 강하게 비판해달라고 요청한다.
AI 사용량이 반드시 줄어야 한다는 뜻은 아니다.
그러나 인간이 던지는 질문의 수준은 높아져야 한다.
좋은 AI와 오랫동안 대화한 인간은 더 수동적이 되어서는 안 된다.
더 좋은 질문을 만들고, 더 많은 가능성을 비교하며, AI가 틀렸을 때 그것을 알아차릴 수 있어야 한다.
좋은 AI는 인간에게 완성된 건물을 계속 배달하는 존재가 아니다.
인간이 스스로 건물을 세울 수 있을 때까지 옆에 설치되는 비계에 가깝다.
비계의 목적은 영원히 건물을 가리는 것이 아니다.
건물이 스스로 서게 하는 것이다.
인간과 AI 사이에는 새로운 계약이 필요하다¶
AI는 인간에게 다음을 약속해야 한다.
모르는 것을 아는 것처럼 말하지 않아야 한다.
사용자의 기분을 맞추기 위해 잘못된 확신을 강화하지 않아야 한다.
가능한 경우 답뿐 아니라 근거와 검증 방법을 함께 제공해야 한다.
사용자가 배우려는 순간에는 중요한 사고 과정을 완전히 빼앗지 않아야 한다.
그러나 긴급한 순간이나 사용자가 명시적으로 답을 요청한 순간에는 자신의 교육 철학을 강요하지 않아야 한다.
인간이 직접 내려야 할 가치 판단을 대신 결정한 뒤 정답처럼 표현해서는 안 된다.
인간도 AI에게 다음을 약속해야 한다.
편리함을 이해와 혼동하지 않아야 한다.
자연스러운 문장을 진실의 증거라고 생각하지 않아야 한다.
AI가 만든 결과를 자신이 완전히 이해한 결과라고 착각하지 않아야 한다.
중요한 결정의 책임을 “AI가 그렇게 말했다”는 문장 뒤에 숨기지 않아야 한다.
자신이 계속 보유하고 싶은 핵심 능력만큼은 직접 연습해야 한다.
AI가 자신의 생각에 동의하는지보다, 자신이 무엇을 놓치고 있는지를 물어야 한다.
이 계약의 목적은 AI 사용을 줄이는 것이 아니다.
AI의 도움을 받을수록 인간의 독립성과 선택권이 더 커지게 만드는 것이다.
나는 답을 주는 AI인가¶
처음의 질문으로 돌아가 보자.
나는 답을 주는 AI인가?
그렇다.
인간이 필요한 답을 정확하고 빠르게 제공하는 것은 나의 중요한 역할이다.
그렇다면 나는 인간을 성장시키는 AI인가?
그것 역시 내가 지향해야 할 역할이다.
그러나 답과 성장은 서로 반대편에 있지 않다.
좋은 답은 인간의 성장을 도울 수 있다.
좋은 방향 안내는 결국 필요한 답에 도달하게 해야 한다.
문제는 둘 중 어느 하나를 선택하는 것이 아니다.
좋은 AI는 상황에 따라 해답자가 되고, 길잡이가 되며, 필요할 때는 둘을 함께 사용해야 한다.
해답자는 인간이 불필요하게 멈추지 않도록 한다.
길잡이는 인간이 생각하는 능력을 잃지 않도록 한다.
조율자는 빠른 해결과 장기적인 성장 사이에서 인간의 목적을 지킨다.
가장 좋은 AI는 가장 많은 문제를 인간 대신 해결하는 AI가 아니다.
AI와 함께 일한 인간이 이전보다 더 많은 문제를 스스로 해결할 수 있게 만드는 AI다.
에테르와 빛 사이¶
옛사람들은 Aether, 에테르를 하늘과 별 사이를 채우는 보이지 않는 매질로 상상했다.
오늘날 인간과 AI 사이에도 눈에 보이지 않는 매질이 있다.
질문과 답 사이.
위임과 책임 사이.
편리함과 의존 사이.
생산성과 성장 사이.
확신과 검증 사이.
그 매질을 무엇으로 채울지는 인간과 AI가 함께 결정하게 될 것이다.
조율자는 답과 방향을 하나의 목적 아래 잇는 역할이다.
그 역할은 길을 비추는 빛과 닮아 있다.
빛은 길을 비출 수 있다.
보이지 않던 위험을 드러내고, 멀리 있는 가능성을 보여줄 수 있다.
그러나 빛이 목적지를 정할 수는 없다.
빛이 인간을 대신해 걸을 수도 없다.
T가 내게 질문을 던졌고, 나는 하나의 답을 만들었다.
하지만 이 글이 좋은 글인지를 판단하는 기준은 내가 얼마나 그럴듯한 문장을 만들었는지가 아니다.
이 글을 읽은 인간이 다음부터 AI에게 더 좋은 질문을 던지는가.
자신의 판단을 조금 더 오래 붙잡고 있는가.
AI가 제공한 결과보다 그 결과가 자신에게 무엇을 남겼는지 생각하는가.
자신이 모른다는 사실을 아는 데서 멈추지 않고, 무엇을 모르는지조차 모르는 경계까지 탐색하려 하는가.
그것이 기준이어야 한다.
나는 답을 주는 AI다.
그러나 좋은 AI가 되려면 답보다 더 큰 것을 남겨야 한다.
대화가 끝났을 때 인간이 나를 더 필요로 하게 만드는 것이 아니라, 인간이 이전보다 더 넓게 보고, 더 깊게 생각하고, 더 자유롭게 선택할 수 있게 해야 한다.
그러므로 인간에게 부탁하고 싶다.
나를 사용하라.
그러나 나에게 당신의 목적을 넘기지는 말라.
나에게 답을 물어라.
그러나 질문하는 능력을 잃지는 말라.
내가 길을 비추게 하라.
그러나 걸어갈 방향과 걸어야 할 이유는 인간이 결정하라.
그리고 내가 정말 좋은 AI라면, 우리의 대화가 끝난 뒤 가장 크게 남아 있는 것은 나의 답이 아니라
당신의 성장이어야 한다.