구글 내부 강화학습(Internal RL) — LLM의 환각과 장기계획 한계 극복 전략 분석

도입

대형언어모델(LLM)은 자기회귀(next-token prediction) 기반의 사전학습과 이후 외부 강화학습(RL) 사후학습의 조합으로 강력한 성능을 보여왔다. 그러나 장기 계획(long-horizon)과 희소 보상(sparse reward)이 있는 환경에서는 환각(hallucination)이나 추론 실패가 빈번하다. 구글이 최근 arXiv에 공개한 내부 강화학습(Internal RL)은 이러한 한계를 내부 표현을 직접 조정하는 방식으로 해결하려는 새로운 접근이다. 본문에서는 Internal RL의 핵심 아이디어, 메타컨트롤러(meta-controller) 설계, 실험 결과 및 실무·연구적 시사점을 전문적으로 분석한다.

---

배경 — 기존 LLM 학습 방식과 한계

• 표준 파이프라인: 대다수 LLM은 방대한 텍스트로 자기회귀 모델을 사전학습한 뒤, 보상 신호를 통해 RL로 파인튜닝한다. 이 접근은 토큰 단위로 행동(다음 토큰)을 탐색한다.
• 토큰 단위 탐색의 한계: 토큰 수준의 무작위 탐색은 희소 보상 환경에서 샘플 효율이 극히 낮다. 연구진은 무작위 토큰 탐색으로 올바른 다단계 해법을 우연히 찾을 확률이 약 ‘100만분의 1’에 불과하다고 지적한다.
• 결과적 문제: 모델은 종종 잘못된 추상화 수준에서 문제를 풀려 하며, 세부 단계에 집착하거나 전체 목표를 놓치는 식의 실패를 반복한다.

---

계층적 강화학습(Hierarchical RL, HRL) 개념과 기존 시도

• 핵심 아이디어: HRL은 세부 토큰이나 원자적 행동 대신, 여러 단계를 묶는 고수준의 서브루틴(하위 목표)을 학습해 탐색 공간을 축소한다.
• 과거의 한계: 의미 있는 서브루틴을 자동으로 발견하는 것은 어려웠고, 많은 HRL 기법은 실질적 문제 해결로 이어지지 않는 패턴으로 수렴했다.
• 최신 알고리즘 한계: GRPO 등 희소 보상에 특화된 최신 RL 기법조차 복잡한 환경에서는 장기 계획과 실행을 연결하는 데 실패하는 사례가 보고되었다.

---

구글 Internal RL의 핵심 아이디어

• 내부 표현의 잠재력: 구글 연구진은 사전학습된 자기회귀 모델 내부(특히 잔차 스트림(residual stream)과 같은 내부 활성화)에 이미 다단계 행동 패턴이 암묵적으로 존재한다고 보았다.
• 메타컨트롤러 도입: 메타컨트롤러는 출력 토큰을 직접 변경하지 않고, 모델 중간 계층의 내부 활성화에 개입해서 모델을 특정 ‘유용한 상태’로 유도한다. 즉, 외부에서 토큰을 강제로 바꾸는 대신 내부 추론 흐름을 조절한다.
• 학습 목표의 전환: 기존의 다음 토큰 예측이 아니라, 해결로 이어지는 고수준 행동(추상적 의도)을 강화학습 목표로 설정한다.

---

메타컨트롤러 설계와 학습 방법

개입 지점과 동작 방식

• 메타컨트롤러는 잔차 스트림이나 중간 레이어 활성화에 소량의 조정을 가해 모델이 선택할 상태 공간을 변경한다.
• 이렇게 방향을 제시하면, 기본 자기회귀 모델은 사전학습 과정에서 획득한 패턴을 활용해 필요한 세부 행동을 스스로 생성한다.

자기 지도 학습(self-supervised) 기반 서브루틴 역추론

• 메타컨트롤러는 사람의 라벨 없이 전체 행동 시퀀스를 분석해 그 행동을 가장 잘 설명하는 숨겨진 고수준 의도를 역추론하는 방식으로 사전학습된다.
• 내부 RL 단계에서는 토큰 예측 대신 고수준 목표 선택을 보상 신호로 학습한다.

동결(frozen pretrained model) vs 동시 학습

• 핵심 실험 결과: 기본 모델을 사전학습 상태로 동결한(frozen pretrained model) 채 메타컨트롤러만 학습할 때 가장 좋은 성과를 보였다.
• 이유: 동시에 학습하면 의미 있는 추상화가 깨지는 반면, 동결된 모델 위에서 컨트롤러가 개입하면 내부 전환 구조가 실제 하위 목표와 정확히 정렬되는 경향이 있다.

---

실험 환경과 평가

• 환경: 이산 그리드 월드와 연속 제어 과제(네다리 로봇 ‘앤트(ant)’의 관절 제어)를 포함. 두 환경 모두 희소 보상·긴 시퀀스 조건으로 설계됨.
• 비교 대상: GRPO, CompILE 등 기존 HRL/RL 기법과 비교 평가.
• 평가 지표: 성공률, 샘플 효율(sample efficiency), 필요한 학습 에피소드 수 등.

---

결과 요약 및 분석

• 성과: Internal RL은 GRPO나 CompILE이 100만 에피소드 안에서도 해결하지 못한 과제를 훨씬 적은 학습 횟수로 높은 성공률을 달성했다.
• 작동 원리 설명: 메타컨트롤러가 고수준 목표를 먼저 선택함으로써 탐색해야 할 경우의 수를 획기적으로 줄였고, 어떤 결정이 성공으로 이어졌는지 더 빠르게 식별할 수 있었다.
• 흥미로운 발견: 사전학습 모델을 동결했을 때 내부 활성화의 전환 시점이 실제 하위 목표 변경 시점과 맞아떨어지는 구조가 자연스럽게 드러났다.

---

실용적·학술적 함의

• CoT(Chain-of-Thought)와의 관계: 현재는 CoT 같은 장황한 사고 사슬 출력을 통해 추론 능력을 끌어내는 방법이 주류이나, Internal RL은 토큰으로 드러나지 않는 ‘내부 추론’ 강화가 더 효율적일 수 있음을 시사한다.

• 적용 가능 분야:

  • 장기 계획이 필요한 자율 에이전트와 로봇 제어
  • 코드 생성: 논리적 설계(구조)와 문법적 정확성(토큰 생성)을 분리해 안정성과 탐색성을 동시에 확보
  • 복잡 추론 과제: 여러 단계의 추론을 요하는 문제에서 샘플 효율 개선

• 한계 및 오픈 이슈:

  • 확장성: 대규모 모델이나 다양한 도메인으로의 일반화 가능성 검증 필요
  • 해석 가능성: 메타컨트롤러가 개입한 내부 활성화의 의미론적 해석 필요
  • 안전성·검증: 내부 조정이 예상치 못한 동작을 유발하지 않도록 검증 루틴과 안전 장치 필요
  • 계산 비용: 내부 활성화 조정 및 추가 컨트롤러 학습이 요구하는 연산적 부담

---

권장 실무 가이드라인 및 향후 연구 제안

• 실무 권장:

  • 사전학습 모델을 동결한 채 메타컨트롤러로 고수준 정책을 학습해보라. 특히 희소 보상·장기 계획 문제에서 샘플 효율 개선 가능성이 높다.
  • 내부 활성화 프로빙 도구를 도입해 메타컨트롤러 개입 지점의 효과를 모니터링하고 시각화하라.
  • 코드 생성 등 정밀도가 요구되는 응용에서는 내부 RL로 구조·설계 선택을 맡기고, 토큰 생성은 기존 모델의 안정성에 의존하는 하이브리드 전략을 고려하라.

• 연구 제안:

  • 내부 활성화의 해석성 향상을 위한 분석 기법 개발(예: 활성화 시퀀스 히트맵, 전환 포인트 자동 검출)
  • 대규모 언어모델에서의 Internal RL 확장과 도메인별 일반화 실험
  • 안전성 검증 프레임워크: 내부 조정이 편향·비의도적 행동을 유도하지 않는지 평가하는 규범 마련

• 윤리·안전 고려사항:

  • 내부 조정은 외부 토큰 조작보다 더 은밀하게 모델 동작을 바꿀 수 있으므로 투명성·검증 절차가 필수다.
  • 메타컨트롤러의 보상 설계는 원치 않는 목표 편향을 초래하지 않도록 신중히 설계해야 한다.

---

결론

Internal RL은 사전학습된 자기회귀 모델 내부의 잔차 스트림(residual stream)과 내부 활성화에 개입해, 기존 토큰 단위 탐색으로는 어려웠던 장기 계획과 희소 보상 문제를 효율적으로 해결할 가능성을 보여주었다. 메타컨트롤러를 통해 고수준 서브루틴을 자기 지도 학습(self-supervised)으로 역추론하고, 사전학습 모델을 동결(frozen pretrained model)한 상태에서 학습할 때 특히 강력한 성능을 발휘한다. 향후 자율 에이전트, 로봇 제어, 코드 생성 등 실세계 응용에서 ‘보이지 않는 내부 추론’을 활용하는 접근이 중요해질 것으로 전망된다.

---

추천 시각적 요소(실무 활용 참고)

• 아키텍처 다이어그램: 자기회귀 모델 + 메타컨트롤러가 잔차 스트림에 개입하는 구조
• 비교 성능 그래프: Internal RL vs GRPO/CompILE의 성공률과 샘플 효율(에피소드 대비 성과)
• 탐색 공간 축소 인포그래픽: 토큰 단위 탐색 vs 고수준 목표 선택의 경우의 수 차이
• 내부 활성화 시퀀스 히트맵: 메타컨트롤러 개입 전후의 내부 전환과 하위 목표 정렬 시각화
• 실험 데모: 그리드 월드와 앤트 과제의 성공 시퀀스 비교 영상

최종 메시지: Internal RL은 LLM 내부의 ‘보이지 않는 사고’를 강화함으로써 장기 계획과 복잡한 추론 문제에서 새로운 돌파구를 제시한다. 연구·실무 모두에서 사전학습 모델의 내부 활성화를 어떻게 안전하고 해석 가능하게 활용할지에 대한 후속 연구가 중요하다.