통신 도메인에서의 LLM의 한계와 GSMA의 Open-Telco 벤치마크

GSMA란?

---

GSMA(Global System for Mobile Communications Association)는 세계이동통신사업자연합회로,

전 세계 통신사, 제조사들이 모여 모바일 기술의 미래를 이끄는 세계 최대의 이동통신 기구이다.

 

GSMA는 매년 3월 초 바르셀로나에서 세계 최대의 IT, 모바일 전시회인 MWC(Mobile World Congress)를 주최하는데,

이 행사에서는 삼성, 애플, 구글 같은 글로벌 기업들과 전 세계 통신사들이 총출동하여 최신 스마트폰, 5G·6G 통신 기술, 인공지능(AI) 기반의 신기술을 최초로 공개한다.
(최근 MWC의 핵심 키워드는 5G Advanced, 6G, Open RAN, 네트워크 자동화, 그리고 AI!)

 

현재 SKT, KT, LGU+ 같은 국내 이통사를 비롯해 전 세계 800개 이상의 통신사와 400개 이상의 제조사(삼성, 애플 등)가 회원으로 등록되어 있다.

 

https://gksyb4235.tistory.com/155 (이전 포스트에서 다룬 MWC26에서의 퀄컴의 발표 자료)

퀄컴의 인프라 관점에서 바라보는 Network for AI (MWC 2026)

 

 

 

 

GSMA의 Open-Telco 벤치마크란?

---

https://www.gsma.com/newsroom/article/gsma-open-telco-llm-benchmarks-ranks-frontier-ai-models-for-telco-ai-revealing-critical-gap-in-network-automation-readiness/

GSMA Open-Telco LLM Benchmarks ranks frontier AI models for Telco AI, revealing critical gap in network automation readiness 

 

GSMA Open-Telco LLM Benchmark는 통신 산업에 특화된 AI 평가 체계다.

쉽게 말하면, “이 LLM이 통신 업무를 실제로 수행할 수 있는가?”를 검증하기 위한 최초의 스코어보드라고 할 수 있다.

 

기존의 AI 벤치마크는 대부분 일반 지식, 수학, 코딩, 상식 추론, 언어 이해 능력을 평가한다.

MMLU, ARC, GSM8K 같은 벤치마크가 대표적이다.

 

이런 테스트는 모델의 일반적인 추론 능력과 지식 범위를 확인하는 데는 유용하지만,

통신 네트워크 운영에 필요한 구조화된 판단 능력을 충분히 평가하지는 못한다.

 

통신 네트워크는 단순한 텍스트 시스템이 아니라, 3GPP 표준, 네트워크 파라미터, 설정 스키마, 시그널링 프로토콜, 장애 로그, 무선 품질 지표, 폐쇄형 제어 루프가 맞물려 동작하는 결정론적 시스템이다.

따라서 통신 AI는 그럴듯한 답변을 생성하는 것을 넘어서 실제 장비와 네트워크를 안전하게 제어할 수 있을 만큼 정확해야 한다.

 

Open-Telco Benchmark는 바로 이를 위해 GSMA에서 제시한 스코어보드로,

범용 LLM이 통신 도메인 지식, 표준 문서 이해, 네트워크 장애 분석, 수학적 엔지니어링 추론, 설정 파일 생성, O-RAN 지식, 실제 RAN 코드 이해에서 얼마나 준비되어 있는지를 측정한다.

 

 

왜 Open-Telco 벤치마크가 필요했나?

---

통신사의 네트워크 운영 업무는 자연어 질의응답과 다르다.

사용자의 질문에 설명을 붙여 답하는 것과, 실제 네트워크 설정을 바꾸거나 장애 원인을 진단하는 것은 전혀 다른 문제다.

 

예를 들어, “특정 지역에서 downlink throughput이 600Mbps 이하로 떨어진 이유를 분석하라”는 요청이 들어온다면,
모델은 RSRP, SINR, handover event, PCI, serving cell, neighbor interference, scheduler resource block 같은 여러 지표를 함께 해석해야 한다.

또한 특정 장애가 차량 속도 문제인지, handover threshold 문제인지, co-channel interference 문제인지, PCI collision 문제인지 구분해야 한다.

 

또 다른 예로, “이 의도를 기반으로 5G 네트워크 설정 파일을 YAML로 생성하라”는 요청은 더욱 어렵다.

여기서는 답변이 자연스럽게 보이는 것보다, 스키마에 맞고 실행 가능한지가 중요하다.

괄호 하나, 필드명 하나, 파라미터 의존성 하나가 틀려도 실제 네트워크에서는 장애로 이어질 수 있다.

 

범용 LLM은 언어적 유연성을 위해 훈련되었다.

그러나 통신 네트워크는 논리적 일관성, 수치적 정밀성, 표준 준수, 구성 스키마 준수, 운영 안전성을 요구한다.

이 차이가 바로 통신 산업에서 LLM을 실제 자동화에 적용할 때 발생하는 핵심 기술 장벽이다.

Structural Misalignment Between General LLMs and Domain-Specific Systems

 

GSMA Open-Telco LLM Benchmark 2.0은 이 격차를 정량적으로 보여준다.

OpenAI나 Claude에서 제시하는 Frontier 모델들은 전체 추론 성능에서는 강하지만, 통신 특화 설정 생성이나 실제 장애 분석처럼 구조화된 운영 정확도가 필요한 영역에서는 급격히 약해진다.

반대로 통신 데이터로 파인튜닝된 모델이나 검색증강생성(RAG)을 결합한 모델은 특정 작업에서 범용 모델을 앞지르기도 한다.

 

 

 

Open-Telco Benchmark가 평가하는 내용과 결과는?

---

GSMA Open-Telco LLM Benchmark 2.0은 세계 최고 수준의 모델들이 실제 통신사 업무에서 어떻게 수행하는지를 측정한다. 평가 대상은 에세이나 상식 퀴즈가 아니라, 의도 기반 설정 생성, 장애 분석, 표준 문서 기반 추론이며,

3GPP와 실제 네트워크 데이터를 바탕으로 구축되었다.

 

GSMA Open-Telco LLM Benchmark 2.0은 통신 AI의 역량을 여러 관점에서 평가한다.

단순히 “통신 용어를 아는가?”를 묻는 수준이 아니라, 통신사가 실제 업무에서 마주치는 문제를 모델에게 제시한다.

대표적인 평가 항목은 다음과 같다.

벤치마크 종류	평가 내용	규모	범용 LLM 성능
TeleQnA	통신 도메인 객관식 QA	10k	75% 미만 다수
3GPP-TSG	3GPP 문서의 담당 Working Group 분류	2k	40% 미만 다수
TeleMath	통신 수학·공학 문제 풀이	500	수학 + 도메인 결합 필요
TeleLogs	5G 네트워크 장애 원인 분석	864	범용 60점 미만
TeleYAML	자연어 의도 → YAML 설정 변환	101	전 모델 30점 미만
ORANBench	O-RAN 표준 지식 평가	1,500	Claude Opus 4.6 90.0 → OTel 94.1
srsRANBench	srsRAN 코드 이해	1,502	LLama-70B 85.3 → OTel 89.7

 

이 벤치마크들은  통신 AI는 일반적인 언어 능력을 넘어서, 실제 통신 업무에 필요한 것은 도메인 지식, 표준 이해, 구조화된 출력 생성, 수치 계산, 로그 해석, 코드 이해가 결합된 복합 역량이라는 점을 보여준다.

 

https://sebastianbarros.substack.com/p/which-is-the-best-ai-model-for-telcos

Which Is the Best AI Model for Telcos? GSMA Just Told Us

 

다양한 모델을 가지고 성능평가르 한 결과, GPT-5와 Claude-4.5 같은 프런티어 LLM은 여전히 추론 능력에서 앞서지만,
스키마에 맞는 유효한 네트워크 설정을 생성하라고 요구받으면 성능이 무너짐을 확인할 수 있다.

반면, AT&T가 파인튜닝한 Gemma 모델은 문제 해결 영역에서 수십억 개의 파라미터를 가진 대형 시스템들을 능가했다.

이는 통신 AI 분야에서 정밀성이 규모를 이긴다는 점을 보여준다.

 

스코어보드가 공개된 2025년 2월 당시 통신 특화 작업에서 주요 언어 모델들의 전체 성능을 비교한 결과,

GPT-5가 65.55점으로 1위를 차지했으며, Grok-4-fast와 Claude-Sonnet-4.5가 뒤를 이었다.

 

GSMA Open-Telco LLM Benchmark 결과

 

 

핵심은 하이브리드 아키텍처가 필요하다는 것!

---

https://www.gsma.com/newsroom/article/gsma-open-telco-llm-benchmarks-ranks-frontier-ai-models-for-telco-ai-revealing-critical-gap-in-network-automation-readiness/

GSMA Open-Telco LLM Benchmarks ranks frontier AI models for Telco AI, revealing critical gap in network automation readiness 

 

GSMA Open-Telco Benchmark의 핵심 결론은 “범용 모델이 필요 없다는 것”이 아니다.

오히려 Frontier LLM은 여전히 폭넓은 추론 능력과 자연어 이해에서 강점을 가진다.

GPT-5, Claude 계열, Gemini 계열 같은 대형 모델은 자유 형식의 설명, 고수준 추론, 일반적 문제 해결에서는 여전히 높은 성능을 보인다.

 

하지만 통신 업무에서는 네트워크 설정 생성, 표준 문서 기반 판단, 장애 원인 분석, 실제 코드 이해에서는 단순한 모델 크기보다 도메인 적응이 중요해지는데, AT&T가 파인튜닝한 Gemma 모델이나 Qwen 기반 통신 특화 모델들이 일부 영역에서 대형 범용 모델을 앞지른 것은 이 점을 잘 보여준다.

 

따라서 통신 AI의 현실적인 방향은 하이브리드 아키텍처다. 파운데이션 모델의 넓은 추론 능력 위에, 통신 특화 파인튜닝 모델, RAG, 검증기, 스키마 validator, 룰 기반 정책 엔진, 시뮬레이터를 결합하는 방식이다.

 

즉, 미래의 통신 AI는 하나의 거대한 LLM이 모든 것을 처리하는 구조가 아닐 가능성이 높다.

범용 LLM은 의도를 이해하고 계획을 세우며, 도메인 특화 모델은 표준과 설정을 다루고,

검증 시스템은 결과가 실제 네트워크에서 안전한지 확인하는 구조가 될 가능성이 크다.

 

 

 

통신망 운영 AI의 핵심은 규모가 아니라 정밀성이다

---

Open-Telco Benchmark가 시사하는 점은 “LLM이 통신에 대해 말할 수 있는가?”가 아니라,

“LLM이 통신망을 실제로 운영할 수 있는가?”다.

 

통신에 대해 설명하는 모델은 이미 많지만 그러나 통신망을 운영하는 모델은 훨씬 더 높은 기준을 통과해야 한다.

이때 통신망 운영 AI가 만족해야 할 조건은 다음과 같이 정리할 수 있다.

1. 3GPP, O-RAN, IEEE 등 표준 문서를 정확히 이해해야 한다.
2. 네트워크 로그와 품질 지표를 기반으로 장애 원인을 분석해야 한다.
3. 수학적 계산과 엔지니어링 파라미터를 정확히 처리해야 한다.
4. 자연어 의도를 실제 설정 파일로 변환해야 한다.
5. 생성한 설정이 스키마와 운영 정책을 만족하는지 검증해야 한다.
6. 실제 RAN 코드베이스와 API를 이해해야 한다.

이 요구사항을 보면 범용 LLM 하나로 통신 자동화를 완성하기 어렵다는 점은 분명하다.

Frontier LLM은 여전히 강력하지만, 통신망 자동화에는 그것만으로 충분하지 않다.

 

특히 TeleYAML처럼 자연어 의도를 실제 설정 파일로 변환하는 작업에서는 범용 모델들이 크게 고전했다.

반대로 TeleLogs, ORANBench, srsRANBench에서는 도메인 특화 모델과 RAG 기반 접근이 강력한 성능 향상을 보였다.

 

미래의 통신망에 결합될 AI는 LLM, RAG, 도메인 파인튜닝, 형식 검증, 시뮬레이션, 정책 엔진이 함께 작동하는 복합 시스템으로 발전할 가능성이 높은데, 이는 통신 AI의 미래가 단일 모델 경쟁이 아니라 아키텍처 경쟁이 될 것임을 의미한다.

 

범용 LLM은 고수준 추론과 인터페이스 역할을 맡고, 통신 특화 모델은 표준·로그·설정·코드 영역을 담당하며, 검증 시스템은 실제 네트워크 적용 가능성을 보장하는 형태가 될 것이다.

즉, 통신 AI의 승부처는 모델의 크기가 아니라, 도메인 정밀성과 운영 신뢰성이다.

 

 

 

 

Appendix) 각 세부 벤치마크 내용들

---

https://huggingface.co/spaces/GSMA/open-telco-leaderboard

 

 

 

1. 3GPP-TSG: 3GPP 문서의 담당 워킹그룹을 맞힐 수 있는가?

---

3GPP-TSG는 언어 모델이 3GPP 기술 문서의 일부 문단을 보고, 해당 문서를 작성한 WG을 식별할 수 있는지를 평가한다.

모델은 추가 맥락 없이 3GPP Tdoc에서 추출된 텍스트를 입력받고, 이를 RAN1~5, SA1~6, CT1·CT3·CT4·CT6 등 총 16개 WG 중 하나로 분류해야 한다.

 

이 작업은 단순한 키워드 매칭이 아니라 각 워킹그룹의 역할, 기술 범위, 문서 스타일, 표준 용어에 대한 깊은 이해를 요구한다.

데이터셋은 Release 8부터 Release 19까지의 3GPP 표준 문서를 포함하며, RAN, SA, CT 세 개의 Technical Specification Group 전반을 다룬다.

 

스코어보드 공개 당시의 주요 결과를 보면 GPT-4o는 38.9% 정확도에 그친 반면, TelecomGPT는 75.3%까지 도달했고 특히 RAN 문서에서는 82.8%의 강한 성능을 보였다.

 

2026년 6월 기준으로는 TelecomGPT와 같은 Fine-tuning 모델들이 SOTA 성능을 보여주고 있다.

 

 

 

2. TeleLogs: 5G 네트워크 장애의 근본 원인을 분석할 수 있는가?

---

TeleLogs는 LLM이 5G 네트워크 이슈에 대해 RCA(Root Cause Analysis),

즉 근본 원인 분석을 얼마나 잘 수행하는지 평가하는 벤치마크다.

 

각 문제는 실제 drive test와 유사한 telemetry를 제공하며, RSRP, SINR, throughput, 단말 속도, PCI, handover event, gNodeB 설정값 등을 기반으로 downlink throughput이 600Mbps 이하로 저하된 이유를 진단하도록 요구한다.

 

데이터셋은 합성 데이터이지만 현실적인 네트워크 엔지니어링 파라미터를 기반으로 생성되었고, 2,800개 이상의 주석 처리된 문제를 학습·테스트 세트로 나누어 구성했다.

장애 원인은 과도한 차량 속도, 지나치게 큰 downtilt, serving cell overshooting, co-frequency neighbor interference, PCI mod 30 collision, 빈번한 handover, handover threshold 설정 오류, scheduled resource block의 부족 등 8개 유형으로 매핑된다.

 

공개 당시 범용 reasoning 모델은 도메인 특화 장애 분석에서 한계를 드러냈지만, chain-of-thought 기반 supervised fine-tuning과 GRPO 강화학습을 적용한 Qwen2.5-32B 모델은 test set에서 95.86% pass@1 정확도를 기록했다.

 

현재는 3GPP-TSG와 마찬가지로 특화 모델들이 90%를 넘는 정확도를 보여준다.

 

 

 

3 TeleMath: 통신 엔지니어링 수학 문제를 풀 수 있는가?

---

TeleMath는 통신 분야의 수학적 문제 해결 능력을 평가하기 위해 설계된 첫 번째 벤치마크다.

총 500개의 question-answer pair로 구성되며, SNR 계산, throughput 산출, queueing theory, 신호처리, 정보이론, 네트워크 확률 문제처럼 통신 엔지니어가 일상적으로 다루는 정량 문제를 포함한다.

 

데이터셋은 전문가가 작성한 100개 seed problem에서 출발해, 각 풀이 과정을 standalone subproblem으로 분해하고 Python 실행 검증 경로와 SymPy 기반 symbolic math 경로를 병렬로 사용해 확장되었다.

문제 범주는 Telecommunications Engineering이 30.6%로 가장 크며, Electrical Engineering, Signal Processing, Information Theory, Computer Networking, Probability & Statistics, Operations Research까지 포함한다.

 

당시에는 Qwen3-32B가 cons@16 기준 76.0% 정확도로 가장 높은 성능을 보였고, Llama-3.3-70B는 더 큰 모델 크기에도 40.2%에 그쳐 범용 수학 능력만으로는 통신 도메인 문제를 충분히 풀기 어렵다는 점을 보여주었다.

 

현재는 파인튜닝과 RAG 기법을 혼합한 모델이 SOTA 성능을 보여준다.

 

 

 

4. TeleQnA: 통신 지식 자체를 얼마나 이해하는가?

---

TeleQnA는 언어 모델이 통신 도메인을 얼마나 잘 이해하는지 측정하기 위해 만들어진 객관식 QA 벤치마크다.

총 10,000개의 문항으로 구성되며, 통신 용어, 연구 문헌, 3GPP와 IEEE 같은 표준화 기구의 문서, 세부 기술 명세까지 폭넓은 범위를 다루는데, 문항은 표준 문서와 연구 출판물에서 내용을 추출한 뒤 distractor를 포함한 객관식 형태로 생성되었고, 사람 검토자가 모호한 표현과 정답 오류를 필터링했다.

 

데이터셋은 Lexicon 500문항, Research Overview 2,000문항, Research Publications 4,500문항, Standards Overview 1,000문항, Standards Specifications 2,000문항으로 구성된다.

 

초기 평가에서 GPT-4는 전체 74.9%로 통신 전문가 평균 64.9%를 앞섰지만,

Standards Specifications 영역에서는 64.8%로 성능이 떨어졌고 RAG를 추가했을 때 결과가 개선되어 파라미터 지식만으로는 표준 세부사항을 충분히 처리하기 어렵다는 점을 보여주었다.

 

최근에는 특화 모델이 상단을 차지한 상태에서, 상용 모델들도 굉장히 성능이 향상되었다.

 

 

 

 

5. TeleTables: 3GPP 표 안의 정보를 이해하고 추론할 수 있는가?

---

TeleTables는 3GPP 기술 명세에 포함된 표를 LLM이 얼마나 잘 이해하고 추론하는지 평가한다.

총 13개의 Release 18·19 3GPP 문서에서 추출한 2,220개 표를 기반으로 500개의 객관식 문제가 만들어졌으며,

모델의 표준 내용 암묵 지식과 명시적 테이블 해석 능력을 동시에 테스트한다.

 

문제 생성 과정에서는 HTML, JSON, Markdown, PNG 이미지 네 가지 형식의 표를 사용해 기본 MCQ를 만들고,
독립 검증을 통과한 문항만 남긴 뒤 reasoning 모델을 이용해 더 어려운 multi-step 문제로 확장했다.

 

각 문항은 5개의 후보 답변, 정답, 해설, 난이도 플래그를 포함하며, 표는 HTML, JSON, Markdown, PNG의 네 가지 표현으로 제공된다.

 

공개 당시의 핵심 결과는 명확한데, 표 컨텍스트가 없으면 모델 평균 정확도는 약 35%에 불과했지만,
표가 제공되면 Qwen3-32B가 92.6%까지 도달했고 HTML이 가장 안정적인 포맷으로 나타났다.

 

현재에도 대부분의 모델들은 표의 정보 추출에 있어서 어려움을 보이고 있다.

 

 

 

6. TeleYAML: 자연어 의도를 실행 가능한 네트워크 설정으로 바꿀 수 있는가?

---

TeleYAML은 LLM이 통신 네트워크의 intent-to-configuration 작업을 얼마나 잘 수행하는지 평가하는 벤치마크다.

통신 엔지니어가 자연어로 내린 의도를 분석해 실제 장비 제어에 사용할 수 있는 YAML 설정 파일로 변환하는 능력을 측정한다.

 

이 작업은 단순한 텍스트 생성이 아니라 필드 구조, 파라미터 의존성, 값의 범위, 네트워크 구성 논리를 모두 만족해야 하는 구조화된 추론 문제다.

 

GSMA Open-Telco 리더보드에서 TeleYAML이 중요한 이유는 네트워크 자동화의 현실성을 직접 검증하기 때문이다.

HuggingFace의 리더보드 항목에는 빠져있지만,

최근 기업들의 테스트 결과 Frontier LLM들도 이 영역에서는 30점 미만의 낮은 점수를 기록했다고 보고되는데,

이는 여전히 LLM이 자연어 의도 이해와 실제 네트워크 설정 생성 사이에 큰 간극을 갖고 있음을 보여준다.

 

 

 

7. ORANBench: O-RAN 표준과 구조를 얼마나 이해하는가?

---

ORANBench는 O-RAN 지식을 평가하기 위한 벤치마크로, ORAN-Bench-13K에서 파생된 1,500개의 객관식 문항으로 구성된다. 문항은 116개의 O-RAN Alliance specification document에서 추출되었고, Easy, Medium, Hard 세 난이도에 각각 500개씩 균형 있게 배치되었다.

 

평가 주제는 O-RAN architecture, open interface, RAN Intelligent Controller, WG1~WG9, E2·A1·O1 프로토콜, fronthaul/midhaul, network slicing, NETCONF/YANG, AI/ML 기반 RAN 최적화 등을 포함한다.

 

ORANSight RAG pipeline은 253만 단어 규모의 O-RAN specification text를 semantic chunking과 dense-vector retrieval로 처리해 문제를 생성했다.

 

당시 평가에서 ORANSight RAG 기반 파이프라인은 78.4% macro accuracy를 기록하며 GPT-4o와 Gemini 같은 범용 모델을 약 5.4% 앞섰고, 특히 Hard tier에서 도메인 특화 검색의 효과가 크게 나타났다.

최신 평가 결과는 RAG의 방법론이 새롭게 부상하는 도메인의 지식에 굉장히 중요한 영향을 끼침을 시사한다.

 

 

 

 

8. srsRANBench: 실제 5G RAN 코드베이스를 이해할 수 있는가?

---

srsRANBench는 LLM이 srsRAN 5G O-RAN software stack을 얼마나 잘 이해하는지 평가하는 코드 중심 벤치마크다.

총 1,502개의 객관식 문항으로 구성되며, srsRAN C++ 코드베이스를 기반으로 code generation과 code comprehension 능력을 모두 테스트한다.

 

문제는 RANSTRUCT dual-agent pipeline을 통해 만들어졌고, 468만 단어 규모의 srsRAN C++ source code를 semantic chunking과 dense-vector encoding으로 처리했다.

 

데이터셋은 DU, PDCCH, PUCCH, SSS, CSI-RS, F1AP, E1AP, NGAP, SDAP, PDCP, channel estimation, CU-UP/CU-CP gateway, memory management, threading primitive 등 실제 RAN 소프트웨어 스택의 주요 구성요소를 포괄한다.

 

당시 ORANSight-2.0 fine-tuned model은 srsRANBench에서 GPT-4o와 Gemini를 18.5% 앞섰고, 이는 통신 특화 코드베이스에서는 범용 LLM보다 도메인 파인튜닝 모델의 이점이 훨씬 커질 수 있음을 보여준다.

 

최근 평가 결과를 살펴보면 작은 모델들이 꽤나 높은 성능을 보여주고 있는데,

이는 코딩 특화 Agent들이 상용 모델들보다 더 높은 코드베이스 이해 및 처리 수준을 보여주기 때문이다.