반응형 트랜스포머1 GPT 시작에서 옴니까지 History OpenAI GPT-1에서 GPT-4o 까지 개발 연혁과 특징을 정리기본 알고리즘은 구글 브레인팀의 인도 출생 연구원인 '아시시 바스와니( Ashishi Vaswani)' 박사 가 주저자로 2017년 발표한 논문 “Attention is All You Need”의 트랜스포머 이론을 바탕으로 OpenAI는 자연어 처리를 위한 대규모 거대 언어 모델(LLM)을 만들어 왔다.GPT-12018- Transformer 아키텍처 기반- 1.17억 개의 파라미터- 단일 방향 언어 모델- 특정 NLP 작업에서 좋은 성능을 보임GPT-22019- 15억 개의 파라미터- 문맥을 더 잘 이해하고 생성하는 능력 향상- 다양한 작업에 대한 Zero-shot 학습 능력- 악용 가능성 때문에 제한적으로 공개됨GPT-32020- 1.. 2024. 5. 16. 이전 1 다음 반응형
