Meta의 Llama 시리즈 Overview (Llama 1 ~ Llama 4)

Llama 시리즈 전체 Overview

---

https://www.modelanalysis.ai/p/the-evolution-of-metas-llama-llms

 

 

 

1) Llama 1 (2023) – 초기 연구용 모델

---

• Meta의 첫 공개 LLM (strict research license).
• Dense Transformer.
• Context length: 2K.
• Training data: ~1.4T tokens.

 

Llama 1은 Vaswani 2017년 개발한 Attention 기반의 Encoder-Decoder Transformer 아키텍처를 기반으로 구축되었다.

Transformer 아키텍처는 NLP 분야의 혁신 중 하나로, 이후 모든 LLM 모델의 Backbone이 된다.

 

 

 

모델의 아키텍처적으로 가장 두드러지는 특징은 GPT3 아키텍처에서 영감을 받아 출력뿐만 아니라 각 Transformer의 하위 layer의 입력도 정규화한다는 점과, 기존의 LayerNrom 함수를 RMSNrom으로 대체하여 훈련 안정성을 유지하며 모델 수렴을 향상했다.

 

 

 

또한 ReLU 함수 모델을 모델 성능 향상에 효과가 있는 것으로 알려진 SwiGLU 함수로 대체하였다.

ReLU 활성화 함수는 모든 음수 값을 0으로 변환하고, 양수인 경우 동일한 값을 반환하는 반면,

SwiGLU는 Interpolation 정도를 조절하는 학습 가능한 Parameter β가 있다. (β가 클수록 ReLU와 유사해짐)

 

 

Llama 1은 개방형 연구 생태계에 첫 발을 내딛은 모델이라고 평가된다.

 

 

 

2) Llama 2 (2023) –  Llama 1의 진화형

---

• Llama 1 대비 대폭 개선된 성능.
• Commercial-friendly open weight license로 판도 뒤집음.
• 7B / 13B / 70B 제공.
• Technical upgrades:
  • SwiGLU / RMSNorm 유지
  • GQA 도입(70B)
• Context: ~4K.
• 특징: 오픈 LLM 생태계를 크게 확장시킨 Meta의 결정적 모델.

 

 

 

Llama 2에서는 GQA를 도입했다.

기존 모델에서는 Query, Key, Value가 각각 여러 개의 헤드(head)를 가지고 있어서, Query 헤드마다 Key-Value 헤드도 전부 다 따로 있어야 했다. → 그래서 KV Cache(메모리)가 매우 커졌고, 매번 불러와야 하는 데이터도 많았다.

GQA는 이 구조를 더 똑똑하고 가볍게 만든 방식으로, 여러 개의 Query 헤드를 여러 ‘그룹’으로 묶은 후(G개의 그룹), 각 그룹은 Key-Value 헤드를 하나만 공유하도록 하였다.

이를 통해 Key-Value Cache 크기를 줄이고, 결과적으로 Load해야 하는 Data의 양을 줄일 수 있게 되었다.

 

 

 

3) Llama 3 세대 (2024) – 고속 진화 & 대규모 확장

---

Llama 3는 2024년에 3.0 → 3.1 → 3.2 → 3.3 로 매우 빠르게 반복 출시되며 변화 폭이 가장 컸던 세대이다.

 

 

Llama 3.0 (8B / 70B)

• 새롭게 구축된 15T+ 규모의 데이터로 학습.
• tokenizer 대폭 확장: 128K vocab.
• 매우 강력한 reasoning/coding 성능으로 오픈모델 열풍 주도.

 

Llama 3.1 (8B / 70B / 405B)

• Llama 3.0 개선판.
• 405B에서 얻은 학습 개선점을 distill하여 8B/70B 성능 급상승.
• Context length 128K 도입 → long-context 본격 대응.
• GQA 표준화.

 

Llama 3.2 (11B / 90B)

• Vision 모델 추가 (11B, 90B).
• 단, vision은 "네이티브 멀티모달"이 아닌 프로젝터 기반 비전 (Pixtral 방식).
• Edge용 경량 모델(1B, 3B)도 포함.

 

Llama 3.3 (70B Instruct)

• Llama 3.x 중 최고 성능.
• Multilingual (8 languages).
• 70B 모델이 405B 성능 일부를 따라잡을 정도로 향상.
• 문제 해결 능력, 코딩, MATH, tool-use에서 업계 상위권.

 

 

4) Llama 4 세대 (2025) – 구조적 대전환 (MoE + Native Multimodality)

---

Llama 4는 이전 세대와 완전히 다른 철학으로 설계되었다.

• Mixture of Experts (MoE) 아키텍처 도입
  • Total params ≈ 109B
  • Active params ≈ 17B per token → 효율성과 성능의 균형 추구
• Native multimodality
  • Vision, audio 등이 transformer 내부에 처음부터 통합
• 초장거리 context:
  • Maverick: 1M
  • Scout: 10M
• Training tokens: ~40T 규모

→ Llama 1~3의 “dense text 모델” 계열과 달리, 완전히 새로운 세대의 generalist AI 모델로 전환.

 

 

 

 

따라서 Llama의 기술적 진화 흐름을 요약하면 아래와 같다.

---

1. Context length의 폭발적 확대

• Llama 1: 2K
• Llama 2: 4K
• Llama 3.x: 128K
• Llama 4: 1M~10M

2. Training 데이터 규모의 급증

• Llama 1: ~1.4T
• Llama 2: ~2T
• Llama 3: 15T+
• Llama 4: ~40T

 

3. Architecture

• Dense Transformer → (3.x) GQA + New tokenizer → (4) MoE + native multimodal
• RMSNorm, SwiGLU는 Llama 1 때부터 도입
• 128K tokenizer는 Llama 3에서 본격화
• MoE는 Llama 4에서 최초 등장

 

4. 경쟁 모델과의 비교 (2025 기준)

• DeepSeek V3, Qwen 2.5가 오픈모델 선두
• Llama 4는 MoE 기반 효율/컨텍스트에서 강점
• Qwen 2.5는 vocab 151K, dense architecture 유지
• Mistral Large 2는 성능 대비 가벼운 dense 모델 전략