목록OpenAI (1)

어바웃 세드릭

기존 언어 모델 부터 LLM 까지

*한국 LLM Developer Day (2023.12.04) 자료를 기반으로 합니다. 예전부터 언어 모델들은 텍스트 분류, 요약, 질의 응답과 같은 특정 목표를 위해 학습되었습니다. 그러다 2017년에 트랜스포머(transformer) 모델이 나오면서 언어 모델에 비약적인 발전이 가능해졌습니다. 트랜스포머 모델은 'self-attention' 이라고 하는 기법을 활용하며, 'Attention is All You Need' 논문에서 발표된 바 있습니다. 2023년 현재, 잘알려진 모델들은 대부분 트랜스포머 기반이라고 볼 수 있습니다. 그리고 엄청난 양의 데이터로 학습된, 보다 큰 모델이 생성형 AI의 핵심입니다. 트랜스포머 모델은 비지도 학습이면서 다음 단어(실제로는 token)를 예측하는 모델입니다. ..
딥러닝 2023. 12. 5. 14:11
이전 Prev 1 Next 다음