LLM을 쓰다 보면 이상한 감각이 있다. 내가 생각한 것 같기도 하고, LLM이 생각한 것 같기도 하다. 그런데 조금 더 자세히 보면, 이 감각은 내가 그 주제를 얼마나 알고 있는지에 따라 다르게 나타난다.

어떤 영역에서는 LLM이 내 생각을 바깥으로 밀어내는 것처럼 느껴진다. 반대로 어떤 영역에서는 내가 이미 갈 수 있는 길을 더 빠르게 가게 해줄 뿐이다. 그리고 또 어떤 순간에는, 짧은 문장 하나가 내 사고의 방향을 강하게 conditioning한다.

이 차이를 구분해두고 싶다.

1. 모르는 분야에서는 생각이 extrapolate된다

내가 거의 모르는 분야가 있다. 의학, 예술, 해외 잡지, 낯선 문화권의 담론 같은 것들이다.

이런 영역에서 LLM을 쓰면, 내 생각이 원래 있던 자리보다 바깥으로 나가는 느낌이 있다. 내가 가진 지식은 얕고 듬성듬성한데, LLM은 그 주변의 개념, 사례, 표현, 맥락을 빠르게 가져온다. 그러면 나는 직접 가본 적 없는 지식 공간 위에 임시로 발을 디딜 수 있게 된다.

물론 이때의 extrapolation은 위험하다. 내가 모르는 분야일수록 그럴듯함과 정확함을 구분하기 어렵다. 그래서 검증은 더 필요하다. 하지만 사용 경험만 놓고 보면, LLM은 내가 접근하지 못하던 영역으로 생각을 확장시키는 역할을 한다.

여기서 LLM은 단순한 정리 도구가 아니다. 내가 몰라서 만들 수 없던 연결을 제안하고, 내가 묻지 못했던 질문의 형태를 보여준다. 그 결과 내 생각은 실제 지식보다 조금 더 앞쪽으로 튀어나간다.

다만 이때 가장 큰 문제는 검증이다. LLM이 내 생각을 모르는 분야로 extrapolate하게 만들수록, 그 결과가 hallucination인지 아닌지 판단하기 어려워진다. 레퍼런스가 붙어 있어도 문제가 끝나지 않는다. 그 레퍼런스가 실제로 존재하는지뿐 아니라, 그 레퍼런스가 정말 공신력 있는지, 그 분야에서 어떤 위치를 갖는지까지 판단해야 하기 때문이다.

결국 이건 sensor의 문제일 수 있다. LLM은 텍스트 안에서 매우 넓게 연결할 수 있지만, 세상 자체를 직접 관찰하는 능력은 제한적이다. 세상에 대한 관찰력의 부재가 hallucination과 검증 불가능성으로 이어진다. 이 점에서는 LeCun이 world model을 이야기할 때의 문제의식과도 닿아 있을 수 있다. 지능이란 단지 언어적 패턴을 잘 잇는 것이 아니라, 세상을 관찰하고 그 관찰을 통해 모델을 계속 갱신하는 능력일 수 있기 때문이다.

그런데 컴퓨터 세계 안에서는 상황이 조금 다르다. Dimitris의 echo처럼, 컴퓨터 안의 많은 대상은 도구를 통해 직접 확인하고 사용할 수 있다. 파일, 로그, 코드, 실행 결과, 테스트, 브라우저, API 응답은 LLM 바깥의 sensor가 될 수 있다. 그래서 현실 세계에 대한 추론보다, 컴퓨터 세계 안에서의 작업은 LLM이 더 단단하게 검증 루프를 만들 수 있다.

2. 잘 아는 분야에서는 accelerate thinking에 가깝다

반대로 내가 잘 아는 분야에서는 느낌이 다르다.

이 경우 LLM은 내가 아예 생각하지 못한 것을 갑자기 만들어내기보다는, 이미 내가 갈 수 있었던 방향을 빠르게 펼쳐준다. 머릿속에 흩어져 있던 논점들을 정리하고, 표현을 다듬고, 빠뜨린 연결을 알려준다.

하지만 완전히 낯선 framing을 던지는 경우는 상대적으로 적다. 오히려 내가 가진 판단 체계와 기준이 강할수록, LLM의 출력은 그 구조 안으로 들어온다. 그래서 잘 아는 분야에서 LLM은 creative oracle이라기보다 thinking accelerator에 가깝다.

이때 중요한 질문은 “LLM이 나보다 똑똑한가?”가 아니다. 더 정확히는 “내 사고의 마찰을 얼마나 줄여주는가?”에 가깝다.

잘 아는 분야에서 LLM은 생각의 방향을 대신 정하기보다, 내가 이미 가진 방향으로 더 빨리 가게 해준다. 그래서 결과물은 새롭다기보다 빠르고, 낯설다기보다 명료하다.

3. 짧은 텍스트는 생각을 conditioning한다

또 하나 흥미로운 것은 생각이 conditioning되는 순간이다.

“코끼리 생각하지 마”라고 하면 오히려 코끼리가 떠오른다. 어떤 문장이나 비유, 프레이밍은 그 자체로 사고의 방향을 고정한다. LLM과 대화할 때도 비슷하다. 짧고 강한 텍스트는 생각을 특정 방향으로 민다.

짧은 prompt, 짧은 메모, 짧은 비유는 강하다. 정보량은 적지만 방향성이 선명하기 때문이다. 그런 문장은 이후의 생각 전체를 물들인다.

그런데 텍스트가 길어지면 오히려 이 힘이 약해지는 경우가 있다. 조건과 설명이 많아질수록 처음의 강한 방향성이 희석된다. 생각은 한 방향으로 날카롭게 고정되기보다, 여러 가능성 사이에서 평균적인 경로로 돌아간다.

그래서 긴 설명이 항상 더 좋은 것은 아니다. 어떤 생각은 짧게 던져졌을 때 더 강하게 작동한다. 짧은 문장이 사고의 seed가 되고, 긴 설명은 그 seed를 오히려 흐릴 수 있다.

임시 결론

LLM은 하나의 방식으로만 작동하지 않는다. 내가 무엇을 알고 있는지, 얼마나 알고 있는지, 그리고 어떤 길이의 텍스트로 생각이 시작되는지에 따라 다르게 느껴진다.

  • 모르는 분야에서는 내 생각을 extrapolate하게 만든다. 다만 이때 hallucination 여부와 레퍼런스의 공신력을 검증하기 어렵다.
  • 이 검증 문제는 본질적으로 sensor와 world model의 문제일 수 있다.
  • 컴퓨터 세계 안에서는 파일, 로그, 테스트, 실행 결과 같은 sensor를 붙일 수 있기 때문에 더 단단한 검증 루프를 만들 수 있다.
  • 잘 아는 분야에서는 내 생각을 accelerate한다.
  • 짧은 텍스트는 생각을 강하게 conditioning하지만, 긴 텍스트는 그 힘을 약하게 만들 수 있다.

그래서 핵심 질문은 “LLM이 생각하는가?”가 아닐 수 있다. 더 중요한 질문은 LLM을 쓰는 동안 내 생각이 어떤 방식으로 변형되는가다.

LLM은 내 생각을 대신한다기보다, 내가 가진 지식의 빈 곳과 밀도 높은 곳을 다르게 증폭한다. 내가 모르는 곳에서는 시야를 빌려주고, 내가 아는 곳에서는 속도를 빌려준다. 그리고 어떤 짧은 문장은 그 전체 과정을 한 방향으로 기울인다.

원본 메모

그냥 내 메모 정도로만 써놔줘. 나의 생각 중에 하나가.. llm을 쓰다보면, 느낀 점.

(1) 나의 생각을 extrapolate하는 겅우가 있다. 내가 아예 모르는 분야. 예를 들면 의학, 예술, 해외잡지 등

(2) 그에 반해, 내가 잘 아는 분야의 경우, accelerate thinking을 할 뿐, 아예 생각하지 못하는 것을 만들지는 않는다.

(3) 생각이 conditioning 되어서.. 코끼리 생각 하지마. 가 되는 경우와 안 되는 경우.. 이게 텍스트가 짧으몬 가능함. 길면 안 됨.

메모 추가: 심지어는 extrapolate할 경우에는.. 할루시네이션 여부도 검증 불가. 레퍼런스가 있더라도, 그 레퍼가 정말 공신력 있는가? 가 문제.

그럼 왜 이런 상황이 생기는가? 본질적으로 sensor의 문제. 세상에 대한 관찰력의 부재. World model을 이야기하는 르쿤의 이야기와도 동일할 수도.

근데 또. Dimitris의 echo처럼 컴퓨터 세상 안에는 전부 사용할 수도 잇음