LLM Neuroanatomy: How I Topped the LLM Leaderboard Without Changing a Single Weight
2026-03-22 https://dnhkng.github.io/posts/rys/
위의 깃허브 링크는 David Noel Ng라는 개인 연구자가 LLM 레이어 복제 실험에 관하여 블로그에 올린 내용이다.
짧게 요약 정리해보자면,
1. 두 가지 힌트에서 시작
모델에게 Base64로 인코딩된 질문을 보내도 제대로 이해하고 Base64로 답한다는 것을 발견했다. 이것이 시사하는 바로는 초기 레이어가 번역기처럼 입력을 추상적 내부 표현으로 변환하고, 후기 레이어가 그걸 다시 출력 언어로 변환한다는 것이다. 그렇다면 중간 레이어는 순수하게 “사고”를 담당하는게 아닐까? 하는 것이 첫 번째 힌트였다.
두 번째 힌트는 Goliath-120B라는 모델이었는데, 두 개의 완전히 다른 70B 모델 레이어를 뒤섞어도 작동했다는 점이다.
레이어들이 생각보다 훨씬 유연하다는 증거였다.
2. 실험 방법: “뇌 스캐너” 만들기
RTX 4090두 장으로 80개 레이어짜리 Qwen2-72B 모델에 대해 가능한 모든 레이어 쌍 조합 3,241가지 테스트를 했다.
각 조합마다
- 어려운 암산 문제 (7자리 수의 세제곱근을 직관으로 맞히기)
- 감성 지능 테스트 (사회적 시나리오에서 감정 강도 예측)
두 가지 완전히 다른 능력을 측정해서, 특정 레이어 구간이 진짜 범용 추론을 담당하는지 찾았다.
3. 핵심 발견: 회로 단위로 작동한다
단일 레이어를 n번 반복해도 효과가 없었고, 7개 레이어 블록 단위로 복제해야만 효과가 있었다.
이는 중간 레이어들이 독립적인 작업을 하는 것이 아니라, 레시피처럼 여러 레이어가 하나의 완결된 “회로”로 작동하기 때문이다.
4. 결과
45~51번 레이어(7개)를 한 번 더 통과시킨 것만으로 72B → 78B 모델이 됐고, 6개 벤치마크 중 5개에서 성능 향상 —MUST +17.72%, MATH +8.16% — 으로 HuggingFace 오픈 LLM 리더보드 1위를 달성했다.
5. 이후 영향
2026년 초 기준 오픈 LLM 리더보드 상위 4개 모델이 모두 RYS-XLarge를 기반으로 만들어진 모델이다.
다른 연구자들이 RYS 위에 파인튜닝을 더 쌓아서 성능을 계속 올린 결과이다.
이 실험으로, 트랜스포머 안에 기능적 해부학이 실제로 존재한다는 걸 보여줬다.
초기 레이어(번역), 중간 레이어(추론 회로), 후기 레이어(출력 변환)로 역할이 나뉘어 있고, 더 큰 모델일수록 이 구분이 더 명확해진다는 가설을 실험으로 뒷받침했다는 내용이다.
그리고 이 모든 걸 수백억짜리 클러스터 없이 지하실에서 RTX-4090 두 장으로 해냈다는 점이 인상적인 부분이다.
트랜스포머 구조
LLM은 레이어(층)가 수십 개 쌓인 구조이다. 입력 텍스트가 맨 아래 레이어붙 들어가서, 위로 올라가며 처리되고, 맨 위에서 답이 나오는 구조다. 딥러닝에서 트랜스포머에 대해 배웠다면 쉽게 이해가 될 것이다.
-
일반 트랜스포머 구조
입력 텍스트 ↓ [레이어 0] ← 초기 해석 [레이어 1] [레이어 2] ... [레이어 45] ← 중간: 추론/사고 [레이어 46] ... [레이어 79] ← 후기: 출력 변환 ↓ 출력 텍스트 -
레이어 복제
입력 ↓ [레이어 0 ~ 44] [레이어 45 ~ 51] ← 1회차 통과 [레이어 45 ~ 51] ← 2회차 통과 (동일한 레이어를 다시!) [레이어 52 ~ 79] ↓ 출력
궁금증
복제 레이어를 늘려서 원래 레이어 곧장 뒤에 붙이는지, 모든 레이어가 끝난 다음에 복제된 레이어를 마지막에 한번 더 돌리는건지 궁금했다. 찾아본 결과로는 원래 레이어의 바로 뒤에 복제 레이어가 붙는데,
[레이어 45] → [레이어 45] → [레이어 46] → …
이런 식이 아니라
[레이어 45] → [레이어 46] → ... -> [레이어 51]
-> [레이어 45] → [레이어 46] → ... [레이어 51]
다음과 같이 크게 두 바퀴를 돈다고 생각하면 될 것 같다.
