정무를 진정으로 이해하는 모델을 학습합니다
범용 대규모 언어 모델은 세상을 알지만, 반드시 고객의 업무를 이해하는 것은 아닙니다. 저희는 고객의 도메인 데이터로 정무 언어와 민원 처리 절차를 이해하는 프라이빗 모델을 학습합니다.
- 도메인 지속 사전학습01
- 지시 미세조정(SFT)02
- 정렬 최적화(RLHF / DPO)03
- 양자화·증류 및 배포04
범용 모델과 정무 시나리오 사이의 격차
프롬프트 엔지니어링은 일부 문제를 해결할 수 있으나, 전문성·안정성·규제 준수를 위해서는 학습이 필요합니다.
용어 및 규범
정무 용어, 문서 규범 및 민원 처리 절차에는 엄격한 기준이 있으며, 범용 모델에는 체계적인 학습이 부족합니다.
안정성 요건
운영 환경에서는 안정적이고 예측 가능한 품질의 출력이 필요하며, 시연용으로 일시적으로 동작하는 수준으로는 부족합니다.
데이터 외부 반출 불가
민감한 데이터는 내부망을 벗어날 수 없으므로, 프라이빗 컴퓨팅 자원과 데이터를 기반으로 학습해야 합니다.
지속적 진화
정책과 절차는 지속적으로 갱신되므로, 모델도 업무 데이터와 함께 지속적으로 반복 개선되어야 합니다.
데이터부터 배포까지의 완전한 연결 고리
여섯 단계가 유기적으로 연계되며, 각 단계마다 명확한 산출물과 평가 기준이 있어 효과가 기준에 미달하면 다음 단계로 진행하지 않습니다.
네 가지 모델 학습 서비스
목표와 예산에 따라 경로를 선택하십시오. 경량 적응부터 심층 학습까지 지원합니다.
도메인 지속 사전학습
Continued Pre-training방대한 정부 코퍼스를 기반으로 지속 사전학습을 수행하여 모델이 정무 언어 체계와 도메인 지식을 깊이 이해하도록 합니다.
- 정무 코퍼스 지속 학습
- 도메인 지식 주입
- 기반 역량 강화
지시 미세조정(SFT)
Supervised Fine-Tuning고품질 지시 데이터를 기반으로 미세조정하여 모델이 공문 작성, 정책 질의응답, 민원 안내 등의 구체적 기술을 습득하도록 합니다.
- 핵심 기술 형성
- 출력 형식 규범화
- 지시 준수 강화
정렬 최적화(RLHF / DPO)
Alignment인간 피드백 기반 선호도 최적화를 통해 모델 출력이 정무 시나리오의 안전·엄정·유용 기준을 충족하도록 합니다.
- 선호 데이터 구축
- 안전성 정렬
- 거절 및 폴백 전략
양자화·증류 및 배포
Quantization & Distillation효과를 유지하면서 모델 규모를 압축하여 다양한 컴퓨팅 환경에 적응하고, 프라이빗 배포를 지원합니다.
- 모델 양자화 압축
- 지식 증류
- 추론 성능 최적화
좋은 모델의 절반은 좋은 데이터
저희는 정부 데이터 보안 요건에 따라 전 과정을 처리하여 데이터 자산을 안전하게 모델 역량으로 전환합니다.
코퍼스 구축
정책 법규, 공문, 민원 안내 등 코퍼스의 수집, 정제 및 구조화 조직.
데이터 라벨링
지시 데이터, 선호 데이터의 전문적 라벨링과 다단계 품질 검수를 통해 품질 추적 가능성을 확보합니다.
데이터 보안
데이터 비식별화, 권한 관리 및 규제 준수 심사를 통해 전 과정이 보안 관리 요건을 충족합니다.
효과 평가
도메인 평가 세트를 구축하여 데이터로 증명하고, 학습 효과를 정량화하고 비교할 수 있도록 합니다.
세 가지 학습 경로
전체 파라미터 미세조정
Full Fine-Tuning도메인 업무에 대한 심층 적응으로 효과 상한이 가장 높습니다.
데이터와 컴퓨팅 자원이 충분한 핵심 시나리오에 적합
LoRA 고효율 미세조정
LoRA파라미터 효율적이며 학습 속도가 빠르고 비용이 낮으며, 효과는 전체 파라미터 수준에 근접합니다.
대부분의 시나리오에 적합하며 가성비 최우선
도메인 적응 및 프롬프트 엔지니어링
Domain Adaptation경량 적응으로 RAG 지식 강화와 결합하여 빠르게 성과를 냅니다.
빠른 검증 및 지식 집약형 시나리오에 적합
학습 서비스 제공 내용
모델 자산
학습 완료된 모델 가중치, 어댑터 및 추론 서비스의 소유권은 고객에게 있습니다.
평가 보고서
도메인 평가 세트 기준의 효과 데이터와 기준 모델 비교 분석.
기술 문서
학습 설정, 데이터 설명, 배포 가이드 및 재현 절차.
교육 역량 강화
모델 사용, 운영 및 지속적 반복 개선 방법에 대한 교육을 제공합니다.
학습 프로젝트 4단계
데이터 준비
코퍼스 수집·정제, 지시·선호 데이터 구축, 평가 세트 구축.
학습 수행
경로 선택, 하이퍼파라미터 설정, 학습 실행 및 과정 모니터링.
평가·최적화
도메인 평가, badcase 분석, 다단계 반복 최적화.
배포·제공
프라이빗 배포, 성능 부하 테스트, 문서 및 교육 제공.