📖 읽는 시간: 약 25분

이 글은 2부로 구성된 시리즈의 두 번째 글입니다. 연구 배경, 시스템 아키텍처 및 실험 설계에 대해서는 1부를 참조하십시오. 2부에서는 실험 결과, 파이프라인 최적화 및 결론을 다룹니다.

4장. 실험 결과: 코드 생성 작업

이 장에서는 NL to Pseudocode Agent의 코드 생성 작업에 대한 평가 결과를 제시합니다. 전통적인 텍스트 지표와 LLM-as-a-Judge 평가 결과를 모두 분석하고, Think 모드의 영향과 모델 안정성을 조사합니다.

전반적인 품질 평가 결과

전통적인 텍스트 지표

표 13은 주요 모델에 대한 전통적인 텍스트 지표 결과를 요약합니다.

Claude 모델은 전통적인 지표에서 강력한 성능을 기록했습니다. ROUGE-L에서 Claude Opus (Think)가 64.4%로 가장 높은 점수를 기록했으며, BERT-F1에서도 Claude Opus (Think)가 84.9%로 1위를 차지했습니다. GPT 모델은 BLEU 및 ROUGE-L에서 비교적 낮은 점수를 보였지만, BERT-F1에서는 다른 모델과 비슷한 수준을 유지했습니다.

LLM-as-a-Judge 평가 결과

표 14는 LLM-as-a-Judge 평가 결과를 정리합니다.

LLM-as-a-Judge 평가에서 Claude Sonnet (Think) 가 67.3%로 1위를 차지했으며, Claude Opus가 66.1%로 2위를 차지했습니다. 비용 효율적인 모델 중에서는 Gemini 3 Flash가 61.7%를 기록했습니다.

차원별 결과를 살펴보면, 모든 모델은 구문 정확성(53.9–79.1%)에서 높은 점수를 기록한 반면, 의미적 동등성 및 조건 완전성은 중간 수준(40.1–58.3%)에 머물렀습니다. 이는 모델들이 문법적으로 올바른 CTE 구문을 생성하는 데 능숙하지만, 참조 코드의 정확한 의미와 조건을 파악하는 데는 여전히 한계가 있음을 시사합니다.

Think 모드 효과 분석

Think 모드의 작업별 영향

표 15는 각 모델에 대해 Think 모드를 활성화했을 때의 성능 변화를 요약합니다.

코드 생성 작업에서 Think 모드의 효과는 모델마다 달랐습니다.

긍정적 효과

• Claude Sonnet은 Think 모드에서 +1.2%p 향상되어 전체 1위 점수(67.3%)를 달성했습니다.

• Gemini 3 Pro 역시 +1.1%p 향상되었습니다.

부정적 효과

• Claude Haiku는 Think 모드에서 -1.8%p 하락했습니다.

• GPT-5.2는 Reasoning 모드에서 -10.6%p의 심각한 성능 저하를 겪었습니다.

Think 모드 효과 해석

코드 생성 작업에서 Claude Sonnet의 Extended Thinking은 긍정적인 효과를 낸 반면, GPT의 Reasoning 모드는 상당한 성능 저하를 초래했습니다. 이는 다음과 같이 해석될 수 있습니다.

1. 작업 특성과의 정합성: 코드 생성은 논리적 구조화와 정확한 구문 생성이 중요한 작업이며, Claude의 Extended Thinking은 이러한 요구 사항에 부합하도록 설계되었을 수 있습니다.

2. 과도한 추론의 부작용: GPT의 Reasoning 모드는 복잡한 수학적 추론에 최적화되어 있으므로, 표준화된 코드 생성 작업에서는 과도한 추론이 오히려 방해가 될 수 있습니다.

3. 안정성 문제: GPT-5.2 (Reasoning)은 높은 빈 응답률을 보였으며, 이로 인해 실질적인 성능 저하가 발생했습니다.

모델 분석

빈 응답률

실제 운영 환경에서는 모델의 안정성이 품질만큼 중요합니다. 표 16은 안정성 분석 결과를 정리한 것입니다.

구체적으로, httpx 클라이언트 타임아웃은 300초(5분)로 설정되었으며, 이 시간 내에 응답을 완료하지 못한 모든 경우는 "빈 응답"으로 계산되었습니다.

안정성 분석에 따르면 Claude와 Gemini 모델 모두 0%의 빈 응답률을 기록하여 완벽한 안정성을 입증했습니다. 반면, GPT 모델은 심각한 안정성 문제를 노출했습니다.

• GPT-5.2: 2.3% (4/175) 빈 응답, 주의가 필요한 수준

• GPT-5.2 (Reasoning): 21.1% (37/175) 빈 응답, 프로덕션 사용에 부적합

• GPT-5 Mini: 23.4% (41/175) 빈 응답, 프로덕션 사용에 부적합

안정성의 실질적 영향

높은 빈 응답률은 다음과 같은 문제를 일으킵니다.

1. 실질적 품질 저하: 빈 응답은 0점으로 처리되기 때문에 GPT-5.2 (Reasoning)의 실질적인 품질은 표면 점수보다 더 낮습니다.

2. 증가된 재시도 비용: 빈 응답이 발생하면 재시도가 필요하므로 추가 비용과 지연이 발생합니다.

3. 낮아진 시스템 신뢰성: 20% 이상의 실패율은 프로덕션 환경에서 허용하기 어렵습니다.

이 분석을 바탕으로, 코드 생성 파이프라인에 GPT-5.2 (Reasoning) 또는 GPT-5 Mini 사용을 권장하지 않습니다.

비용-품질 분석

모델별 비용 및 비용 효율성

표 17은 1K 요청당 각 모델의 비용과 품질을 정리한 것입니다.

비용-품질 트레이드오프

비용-품질 분석을 통해 다음과 같은 파레토 최적 구성이 도출되었습니다.

1. 최고의 저비용 옵션: Gemini 3 Flash ($16.13, 61.7%) — 비용 대비 가장 효율적 (3.83 포인트/$)

2. 최고의 균형 옵션: Gemini 3 Pro (Think) ($75.56, 65.1%) — 합리적인 비용으로 양호한 품질

3. 최고의 최상위 품질 옵션: Claude Sonnet (Think) ($133.00, 67.3%) — 최고의 품질이 필요한 경우

요약

코드 생성 작업에 대한 평가 결과는 다음과 같이 요약될 수 있습니다.

품질 순위 (LLM-as-a-Judge 기반)

1. Claude Sonnet (Think): 67.3%

2. Claude Sonnet: 66.1%

3. Claude Opus: 65.9%

4. Claude Opus (Think): 65.4%

5. Gemini 3 Pro (Think): 65.1%

주요 결과

1. Claude의 우위: Claude 모델이 상위권을 차지했으며, Claude Sonnet (Think)이 가장 높은 품질을 달성했습니다.

2. Think 모드의 비대칭적 효과: Think 모드는 Claude Sonnet과 Gemini 3 Pro에서 긍정적인 효과(+1.1 ~ +1.2%p)를 보였지만, Claude Haiku에서는 부정적인 효과(-1.8%p)를, GPT에서는 강력한 부정적 효과(-10.6%p)를 보였습니다.

3. GPT 안정성 문제: GPT-5.2 (Reasoning)과 GPT-5 Mini는 각각 21.1% 및 23.4%의 빈 응답률을 기록하여 코드 생성 파이프라인에 사용하기에 부적합합니다.

4. 비용 효율성: 안정적인 모델 중 Gemini 3 Flash는 $16.13의 저렴한 비용으로 61.7%의 품질을 제공하여 가장 비용 효율적인 옵션(3.83 points/$)이 되었습니다.

다음 장에서는 Agentic RAG 작업에 대한 평가 결과를 분석하고 코드 생성 작업과 어떻게 다른지 비교합니다.

5장. 실험 결과: Agentic RAG 작업

이 장에서는 MFID Mapping Agent의 Agentic RAG 작업에 대한 평가 결과를 제시합니다. 검색 정확도와 효율성을 분석하고, Think 모드의 영향과 코드 생성 작업과의 차이점을 조사합니다.

전체 품질 평가 결과

Recall@K 및 MRR 결과

표 19는 주요 평가 지표의 결과를 정리합니다.

Agentic RAG 작업에서 Claude Opus는 MRR 78.9%, R@1 73.1%, R@10 89.2%로 1위를 차지했습니다. 이는 2위인 Claude Opus (Think)의 72.3%보다 6.6%p 높은 수치입니다.

코드 생성 작업과 달리, 주목할 만한 점은 GPT-5.2 (Reasoning) 이 66.9%로 3위를 차지했다는 것입니다. 이는 GPT의 Reasoning 모드가 복잡한 검색 및 매핑 추론에 효과적임을 시사합니다.

Tool-Call 효율성

표 20은 각 모델의 쿼리당 평균 도구 호출 횟수를 보여줍니다.

Gemini 모델은 가장 적은 도구 호출(4.3–5.9)로 효율적인 검색을 수행했습니다. 반면, GPT-5.2 (Reasoning)는 9.2회로 가장 많은 도구 호출을 했음에도 불구하고 여전히 66.9%의 높은 MRR을 달성했습니다.

호출당 MRR 측면에서 Claude Opus(11.0%)가 가장 효율적이었으며, 그 다음으로 Gemini 3 Flash (Think)가 10.7%를 기록했습니다. 이는 Claude Opus가 적절한 수의 도구 호출(7.2)로 가장 높은 정확도를 달성했음을 의미합니다.

Agentic RAG 평가 요약

Think 모드 효과 분석

Think 모드의 작업별 영향

표 21은 각 모델에 대해 Think 모드를 활성화했을 때의 MRR 변화를 보여줍니다.

Agentic RAG 작업에서 Think 모드의 효과는 코드 생성 작업과 정반대의 패턴을 보였습니다.

긍정적 효과

• Gemini 3 Flash: +8.1%p (가장 큰 향상)

• GPT-5.2: +7.6%p (코드 생성에서는 -10.6%p였음)

• Claude Haiku: +3.8%p

• Gemini 3 Pro: +3.3%p

부정적 영향

• Claude Opus: -6.6%p (기본 모드가 이미 최고의 성능을 보였음)

• Claude Sonnet: -5.6%p

태스크 간 Think 모드 효과 비교

표 22은 코드 생성 및 Agentic RAG 태스크에서 Think 모드의 효과를 비교합니다.

이 분석은 GPT-5.2의 완전히 반대되는 패턴을 강조합니다.

• 코드 생성: -10.6%p (상당한 하락)

• Agentic RAG: +7.6%p (유의미한 향상)

이 결과는 GPT의 Reasoning 모드가 표준화된 코드 생성보다 복잡한 검색 및 추론 태스크에 더 적합하도록 설계되었음을 시사합니다.

비용-품질 분석

모델별 비용 및 비용 효율성

표 23은 1K 요청당 각 모델의 비용 및 비용 효율성을 정리합니다.

비용-품질 트레이드오프

비용-품질 분석을 통해 다음과 같은 파레토 최적 구성이 도출되었습니다.

1. 최고의 저비용 옵션: Gemini 3 Flash (Think) ($6.7, 50.4%) — 가장 높은 비용 효율성 (7.52 MRR/$)

2. 최고의 밸런스 옵션: Gemini 3 Pro (Think) ($48.0, 59.9%) — 합리적인 비용으로 양호한 품질

3. 최고의 최상위 품질 옵션: Claude Opus ($223.1, 78.9%) — 가장 높은 MRR이 필요한 경우

코드 생성 태스크와 비교했을 때, Agentic RAG의 차이점은 다음과 같습니다. Gemini 3 Flash (Think) 기본 모드보다 더 효율적이며, Claude Opus 기본 모드는 Think 모드보다 더 나은 성능을 보입니다.

코드 생성 vs. Agentic RAG 비교

모델 순위 변화

표 24는 두 태스크 간의 모델 순위를 비교합니다.

주요 변화:

• Claude Opus: 코드 생성 3위 → Agentic RAG 1위

• GPT-5.2 (Reasoning): 코드 생성 12위 → Agentic RAG 3위 (9계단 상승)

• Claude Sonnet (Think): 코드 생성 1위 → Agentic RAG 8위

태스크 특성에 따른 모델 적합성

두 태스크의 결과를 함께 고려할 때, 다음과 같은 패턴이 나타납니다.

코드 생성에 강한 모델

• Claude Sonnet (Think): 구조화된 출력 생성에 강함

• Claude Sonnet: 안정적인 코드 품질

Agentic RAG에 강한 모델

• Claude Opus: 복잡한 도메인 추론에 강함

• GPT-5.2 (Reasoning): 다단계 검색 추론에 효과적

두 태스크에서 균형 잡힌 모델

• Gemini 3 Pro (Think): 두 태스크 모두 상위권 내에 포함

• GPT-5.2: 두 태스크 모두 중상위권에 위치

요약

Agentic RAG 태스크에 대한 평가 결과는 다음과 같이 요약할 수 있습니다.

품질 순위 (MRR 기준)

1. Claude Opus: 78.9%

2. Claude Opus (Think): 72.3%

3. GPT-5.2 (Reasoning): 66.9%

4. Gemini 3 Pro (Think): 59.9%

5. GPT-5.2: 59.3%

주요 발견 사항

1. Claude Opus의 압도적 우위: Claude Opus는 78.9%의 MRR로 1위를 차지했으며, 2위보다 6.6%p 높았습니다.

2. GPT Reasoning의 역전: 코드 생성에서 하위권에 머물렀던 GPT-5.2 (Reasoning)이 Agentic RAG에서 3위를 차지하며, 태스크별 적합성의 차이를 보여주었습니다.

3. Think 모드의 반대 효과: 코드 생성과 달리, GPT와 Gemini의 Think 모드는 Agentic RAG에서 긍정적인 효과를 보였으나, Claude의 상위 모델(Opus 및 Sonnet)은 오히려 부정적인 효과를 보였습니다.

4. 비용 효율성: Gemini 3 Flash (Think)는 $6.7의 저렴한 비용으로 50.4%의 MRR을 제공하여 가장 비용 효율적인 옵션(7.52 MRR/$)이 되었습니다.

다음 장에서는 두 작업의 결과를 종합하고 파이프라인 최적화 전략과 최종 권장 사항을 제시합니다.

6장. 통합 분석 및 권장 사항

이 장에서는 코드 생성과 Agentic RAG라는 두 작업의 결과를 종합하여 파이프라인 최적화 전략을 제시합니다. 각 모델의 특성을 요약하고 비용-품질 트레이드오프를 고려한 최종 권장 사항을 도출합니다.

전체 파이프라인 분석

단계별 성능 비교

표 26은 두 작업에 걸친 각 모델의 성능과 전반적인 품질을 정리합니다.

유효 품질 분석

전반적인 품질 측면에서 Claude Opus는 코드 생성(65.9%)과 RAG(78.9%) 모두에서 강력한 성능을 보였기 때문에 52.0%로 가장 높은 순위를 차지했습니다. 하지만 총 비용($449.1)도 가장 높았기 때문에 효율성(0.12)은 낮았습니다.

비용 효율성 측면에서, Gemini 3 Flash (Think) 1.34로 가장 우수했습니다. 이는 낮은 비용($22.9)으로 양호한 전반적인 품질 점수(30.7%)를 달성했기 때문입니다.

모델 특성 요약

개별 모델 특성

Claude Opus

• 코드 생성: 3위 (65.9%)

• Agentic RAG: 1위 (78.9%)

• 특성: 두 작업 모두에서 최고 수준이며 복잡한 도메인 추론에 강함

• 권장 대상: 최고의 품질이 필요한 경우

Claude Sonnet (Think)

• 코드 생성: 1위 (67.3%)

• Agentic RAG: 8위 (53.1%)

• 특성: 코드 생성에 특화되어 있으며 Think 모드가 효과적인 것으로 입증됨

• 권장 대상: 코드 생성 품질이 중요한 경우

Gemini 3 Flash (Think)

• 코드 생성: 11위 (61.0%)

• Agentic RAG: 10위 (50.4%)

• 특성: 가장 낮은 비용, 가장 높은 효율성

• 권장 대상: 예산 제약이 심한 경우

GPT-5.2 (Reasoning)

• 코드 생성: 12위 (52.3%)

• Agentic RAG: 3위 (66.9%)

• 특성: 작업별 성능 차이가 극심하며 코드 생성이 불안정함

• 권장 대상: RAG 작업에만 단독으로 사용하는 경우

Think 모드의 전반적 효과

Think 모드의 작업별 영향

표 27은 Think 모드의 작업별 효과를 요약합니다.

Think 모드 전략

Think 모드의 효과가 작업마다 다르므로 이종 파이프라인 전략이 효과적입니다.

1. 코드 생성 단계: Claude Sonnet (Think) 또는 Gemini 3 Pro (Think)

2. Agentic RAG 단계: Claude Opus (base) 또는 Gemini 3 Flash (Think)

이 전략을 통해 각 단계에서 최적의 성능을 달성할 수 있습니다.

파이프라인 최적화 전략

파이프라인 조합 분석

AI Check 시스템은 코드 생성과 Agentic RAG를 순차적으로 실행하므로 각 단계에 다른 모델을 적용할 수 있습니다. 13개 모델 × 13개 모델 = 169개 조합 중에서 파레토 최적 조합이 도출되었습니다.

권장 파이프라인 구성

표 28은 시나리오별 권장 파이프라인 구성을 보여줍니다.

최적화 효과

현재 단일 모델 Claude Sonnet 설정 대비 권장 구성의 개선 사항:

예산 구성(Gemini 3 Flash + Gemini 3 Flash (Think))

• 비용: $277 → $23 (92% 감소)

• 품질: 62% → 54% (8%p 감소)

• 비용 효율성: 10배 향상

균형 구성(Gemini 3 Flash + Claude Haiku (Think))

• 비용: $277 → $58 (79% 감소)

• 품질: 62% → 65% (3%p 향상)

• 비용 효율성: 5배 향상

최고 품질 구성(Claude Sonnet (Think) + Claude Opus)

• 비용: $277 → $356 (29% 증가)

• 품질: 62% → 74% (12%p 향상)

• 품질 단위당 비용: 향상됨

최종 권장 사항

연구 질문에 대한 답변

RQ1: 도메인별 작업에서 LLM 모델 간의 성능 차이는 얼마나 큽니까?

모델 간의 성능 차이는 유의미하며, 작업 유형에 따라 최적의 모델이 다릅니다.

• 코드 생성: Claude Sonnet (Think) > Claude Sonnet > Claude Opus

• Agentic RAG: Claude Opus > Claude Opus (Think) > GPT-5.2 (Reasoning)

RQ2: Think/Reasoning 모드는 각 작업에 어떤 영향을 미칩니까?

Think 모드의 효과는 작업에 따라 다르며, 일부 모델에서는 완전히 반대되는 패턴을 보입니다.

• GPT-5.2: 코드 생성 -10.6%p, Agentic RAG +7.6%p

• Claude Opus: 두 작업 모두에서 기본 모드가 더 나은 성능을 보임

RQ3: 비용-품질 트레이드오프에서 최적의 구성은 무엇입니까?

이종 모델 파이프라인이 동종 모델 파이프라인보다 더 효율적입니다.

• 균형 구성: Gemini 3 Flash(코드 생성) + Claude Haiku (Think)(RAG)

• 79%의 비용 감소와 3%p의 품질 향상을 동시에 달성

RQ4: 프로덕션 환경에서 고려해야 할 요소는 무엇입니까?

안정성이 중요한 요소이며, GPT 모델의 높은 빈 응답률(21–23%)은 프로덕션 사용에 부적합합니다. Claude 및 Gemini 모델은 안정적이었으며, 빈 응답률이 0%였습니다.

실제 적용 가이드라인

단일 모델 사용 시

이종 모델 파이프라인 사용 시

요약

이 장에서는 코드 생성과 Agentic RAG라는 두 가지 작업의 결과를 통합하여 다음과 같은 결론을 도출했습니다.

1. 이종 모델 파이프라인의 효과: 각 작업에 최적화된 모델을 결합하면 더 낮은 비용과 더 높은 품질을 동시에 달성할 수 있음이 확인되었습니다.

2. Think 모드의 선택적 적용: Think 모드는 보편적인 이점을 보장하지 않으므로, 작업 및 모델 특성을 고려한 선택적 적용이 필요합니다.

3. 안정성의 중요성: 품질 외에도 빈 응답률과 같은 안정성 지표는 프로덕션 모델 선택 시 핵심 고려 사항으로 작용합니다.

4. 비용 효율성: Gemini 모델은 비용 효율성에서 우위를 보였으며, 이는 예산이 제한된 환경에서 효과적인 옵션이 됩니다.

결론

연구 요약

본 연구는 일본 급여 시스템인 AI Check를 사용하여 3대 LLM 제공업체인 Anthropic, Google, OpenAI의 13가지 모델 구성을 비교 평가했습니다. 자연어-CTE 의사코드 변환(코드 생성, 175개 샘플) 및 도메인 용어-MFID 매핑(Agentic RAG, 93개 샘플)이라는 두 가지 작업에 대해 품질, 비용 및 안정성을 분석했습니다.

코드 생성 작업에서는 Claude Sonnet (Think)이 67.3%로 가장 높은 성능을 달성했으며, Agentic RAG 작업에서는 Claude Opus가 78.9%의 MRR로 1위를 차지했습니다. Think/Reasoning 모드의 효과는 작업 유형에 따라 달랐고, GPT-5.2는 코드 생성에서 -10.6%p, Agentic RAG에서 +7.6%p로 상반된 패턴을 보였습니다.

비용-품질 분석을 통해 이기종 파이프라인이 동종 파이프라인보다 더 효율적임을 확인했습니다. Gemini 3 Flash(코드 생성)와 Claude Haiku (Think)(Agentic RAG)를 결합한 균형 잡힌 구성은 단일 모델 Claude Sonnet 설정과 비교하여 79%의 비용 절감과 3%p의 품질 향상을 달성했습니다.

주요 기여

본 연구의 기여는 다음과 같이 정리할 수 있습니다.

첫째, 실제 엔터프라이즈 환경을 기반으로 LLM 비교 평가를 수행했습니다. 일반적인 벤치마크에 의존하는 기존 연구와 달리, 본 연구는 활발하게 사용되는 일본 급여 시스템 파이프라인에서 13가지 LLM 구성을 평가하고 도메인별 작업에 대한 모델 성능을 경험적으로 비교했습니다.

둘째, 코드 생성과 Agentic RAG라는 두 가지 다른 작업 유형에 걸쳐 모델 특성을 명확히 했습니다. 동일한 모델이라도 작업 유형에 따라 순위가 크게 바뀔 수 있음을 보여주었으며, Think/Reasoning 모드의 효과가 작업에 따라 완전히 반대 방향으로 나타날 수 있음을 확인했습니다.

셋째, 다차원 평가 프레임워크를 제안했습니다. 전통적인 텍스트 지표(BLEU, ROUGE-L, BERT-F1)와 4차원 LLM-as-a-Judge 평가(구문 정확성, 의미적 동등성, 조건 완전성, 구조적 유사성)를 결합하여 코드 생성 품질을 다각도로 측정했습니다. Agentic RAG의 경우 Recall@K, MRR 및 도구 호출 효율성을 평가했습니다.

넷째, 비용-품질 트레이드오프에 기반한 파이프라인 최적화 전략을 제시했습니다. 169개의 파이프라인 조합을 분석하여 시나리오별 최적 구성을 도출하고 이기종 모델 파이프라인의 효과를 입증했습니다.

실질적 시사점

본 연구의 결과는 LLM 기반 엔터프라이즈 시스템을 개발하는 실무자에게 다음과 같은 시사점을 제공한다.

모델 선택의 작업 종속성: 단일 모델이 모든 작업에 최적이라는 가정은 거의 지지를 받지 못한다. 최적의 모델은 작업에 따라 달라질 수 있으므로 파이프라인의 각 단계에 대해 별도의 모델 평가가 필요하다.

Think 모드의 선택적 적용: Think/Reasoning 모드가 보편적으로 성능을 향상시킨다고 가정할 수 없다. 일부 모델-작업 조합에서 성능 저하가 관찰될 수 있으므로 사전 검증이 필수적이다.

안정성 평가의 중요성: 품질 지표만을 기반으로 한 모델 선택은 프로덕션 환경에서 문제를 일으킬 수 있다. GPT 모델의 높은 빈 응답률(21–23%)은 품질 점수와 관계없이 프로덕션 사용을 제한하는 요인으로 작용한다.

비용 효율성 고려: 최고 품질의 모델이 항상 최선의 선택은 아니다. Gemini 3 Flash와 같은 저비용 모델은 10배 이상의 비용 효율성을 달성하면서도 충분한 품질을 제공할 수 있다.

연구의 한계점

본 연구는 다음과 같은 한계점이 있다.

첫째, 단일 도메인 평가이다. 평가는 일본 급여 시스템이라는 특정 도메인으로 제한되며, 다른 도메인이나 언어로 일반화하기 전에 추가 검증이 필요하다.

둘째, 정적 평가 데이터셋을 사용한다. 175개의 코드 생성 샘플과 93개의 RAG 샘플은 모든 실제 시스템 시나리오를 포함하지 못할 수 있다. 다양한 복잡성과 엣지 케이스를 포함하는 확장된 데이터셋을 구축해야 한다.

셋째, 단일 시점 평가이다. LLM이 지속적으로 업데이트된다는 점을 고려할 때, 본 연구의 결과는 평가 시점에 사용 가능한 모델 버전으로 제한된다. 모델 버전이 변경됨에 따라 성능 변화를 추적하기 위한 지속적인 평가 프레임워크가 필요하다.

넷째, 단일 턴 평가이다. 본 연구는 각 샘플에 대해 단일 턴 응답만 평가하며, 다중 턴 상호작용 및 오류 복구 기능은 평가 범위에서 제외된다.

향후 연구 방향

본 연구를 기반으로 다음과 같은 후속 연구 방향이 가능하다.

다중 도메인 확장: 급여 시스템 외에도 회계, 인사, 물류와 같은 엔터프라이즈 도메인으로 평가를 확장하여 모델 특성의 일반화 가능성을 검증해야 한다.

동적 모델 선택: 입력 복잡성과 유형에 따라 실시간으로 최적의 모델을 선택하는 라우팅 메커니즘을 개발하면 비용과 품질의 동적 최적화를 가능하게 할 수 있다.

다중 턴 에이전트 평가: 단일 턴 응답만 평가하는 대신, 향후 연구에서는 다중 턴 상호작용에서 에이전트 성능을 평가하고 오류 복구, 명확화 질문, 반복적 개선 기능을 포함하는 에이전트 평가 프레임워크를 개발해야 한다.

지속적인 평가 파이프라인: 모델 버전 업데이트로 인한 성능 변화를 자동으로 추적하는 CI/CD 기반 평가 파이프라인을 구축하면 모델이 업데이트될 때마다 신속한 재평가 및 의사결정이 가능해집니다.

비용 예측 모델: 입력 특성(길이, 복잡성, 도메인)을 기반으로 각 모델의 비용과 품질을 예측하는 모델을 개발하면 요청 수준의 최적 모델 선택이 가능해질 수 있습니다.

맺음말

본 연구는 LLM 기반 엔터프라이즈 시스템 개발에서 체계적인 모델 평가 및 선택의 중요성을 강조합니다. 단일 벤치마크나 공식 제공자 성능 지표만으로는 실제 도메인 작업에서의 성능을 예측하기에 충분하지 않으며, 작업 및 모드별 차이를 고려한 맞춤형 평가가 필수적입니다.

다단계 파이프라인이 있는 시스템에서 이기종 모델을 결합하면 비용 효율성과 품질을 동시에 향상시킬 수 있습니다. 본 연구에서 제안한 평가 프레임워크와 최적화 전략이 LLM 기반 엔터프라이즈 시스템 개발에 유용한 참고 자료가 되기를 바랍니다.

📖 이 글에서 논의된 연구 배경, 시스템 아키텍처 및 실험 설계에 대해서는 1부.

🚀 지금 QueryPie AI 사용해 보기