NLU
한국어 BERT 기반 자연어·발화 이해, ACT-Slot과 태깅 도구를 소개한 기술입니다.
THE QUESTION
말에서 의도와 필요한 정보를 찾습니다
다양한 발화를 규칙만으로 처리하기 어려운 상황에서 자연어 이해를 연구하고 제품화했습니다.
핵심 기능과 접근
- NLU / SLU
- ACT-Slot
- Tagging Tools
SOURCE & CURRENT STATUS
기록과 현재의 구분
기존 소개는 자체 개발 한국어 BERT와 NLU·SLU 데이터 관리 도구를 설명합니다.
현재 제공 범위와 도입·지원 가능 여부는 확인이 필요합니다. 과거의 연구 수치나 설명은 오늘의 성능 또는 효과를 보장하지 않습니다.
기존 자료의 전체 내용 보기
자체 개발 BERT 기반의 NLU
음성대화 또는 챗봇에서 사용자의 의도를 파악하고 의미를 추출하기 위해 한국어 Bert 기반의 NLU를 자체 개발했습니다
한국어 BERT를 훈련하기 위해 Tesla B100 4장 기반의 슈퍼 컴퓨터(Mixed Precision 500 TFLOPS)를 이용하여 2달간 13GB 정도의 텍스트 데이터를 기반으로 모델을 훈련하였습니다.
DNN 기반의 Natural Language Understanding
- Flexibility
- 기존 Rule 방식보다 다양한 발화에 대해 유연하게 대처 가능
- ACT-Slot
- Intent, Slot-Value보다 더 유연하고 폭이 넓은 Act와 Slot의 조합으로 문장을 분석함
- Tagging Tools
- 주어진 문장을 Tagging 하기 위한 전문도구를 제공하여 바로 모델학습에 활용할 수 있음
자사 보유 NLU 데이터
자사에 보유한 "NLU 데이터 툴"을 이용하여 간단하게 문장을 추가하는 것만으로 모델을 학습하고 사용할 수 있습니다
한국어 BERT 기반의 NLU(SLU)
BERT는 Transformer를 이용한 최신 언어모델 학습 기법으로, 언어처리 분야의 대부분의 Task에서 최고의 성능을 보입니다. 방대한 데이터에 의한 높은 성능을 자랑합니다
음성대화 또는 챗봇에서 필요한 기술로, 사용자의 의도를 파악하고 필요한 SLOT 정보를 추출합니다. BERT를 이용한 SLU는 60개 가량의 의도가 있는 로봇대화 테스크에서 90% 이상의 성능을 보장합니다.
· EX) 내일 쇼핑갈껀데 오전 9시에 일정
| intent | create_schedule |
|---|---|
| slot/value | date : 내일 time : 오전 9시 event_title: 쇼핑 |
SLU 데이터 관리 도구
· SLU: Spoken Language Understanding=NLU=자연 언어 이해
용어 설명
* DNN: Deep Neural Network = 딥러닝
* BERT: Bidirectional Encoder Representations from Transformers =인공지능 기반 언어학습 모델
