스탠포드대, 600달러로 챗GPT와 비슷한 AI챗봇 개발

미국에서 단돈 600달러(약 78만5000원)로 '챗GPT'와 비슷한 성능을 가진 인공지능(AI) 모델이 개발됐다.

미국 뉴아틀라스는 스탠포드대학교 기초모델연구센터 소속 연구원들이 600달러와 훈련 데이터 5만2000개로 챗GPT와 비슷한 성능을 구현하는 ‘알파카 7B’를 개발했다고 19일(현지시간) 보도했다.

이에 따르면 연구팀은 메타가 최근 공개한 언어 모델 ‘라마’ 중에서 매개변수가 70억개로 가장 작은 버전(7B)을 기반으로 개발에 착수했다. 먼저 오픈AI의 GPT-3.5 모델인 ‘다빈치-003’에서 175개의 사람이 작성한 명령과 답변 쌍(seed data)을 택한 뒤 이를 기초로 같은 스타일과 형식의 대화 샘플들을 생성했다.

오픈AI가 제공하는 API를 통해 이 과정을 자동화, 짧은 시간 안에 연구팀은 '알파카 7B'로 이름을 붙인 언어 모델의 사후 훈련에 사용할 수 있는 샘플 데이터 5만2000개를 확보했다. 여기까지 든 비용은 500달러에도 못 미쳤다.

연구팀은 이어 샘플 데이터를 이용해 모델을 미세 조정했다. 이 프로세스는 허깅페이스의 교육 프레임워크나 완전 분할 데이터 병렬 및 혼합 정밀 교육과 같은 오픈 소스 기술을 활용했고, 80GB A100 클라우드 처리 컴퓨터 8대에서 약 3시간이 걸렸다. 이 비용은 100달러 미만이었다.

다음으로 '알파카 7B'의 성능에 대해 이메일이나 소셜 미디어의 글 작성, 생산성 도구 등 다양한 분야에서 GPT와 비교했다. 그 결과 알파카는 90개 항목에서, GPT는 89개 항목에서 성능이 상대보다 앞섰다고 연구팀은 밝혔다.

이들은 “모델 크기와 훈련 데이터가 작은 데도 이런 결과가 나온 데 대해 우리도 무척 놀랐다”고 전했다. 또 “알파카를 대화형으로 시험해 보니 종종 챗GPT와 비슷한 행태를 보였다”고 밝혔다. 하지만 크기나 다양성 측면에서 성능 평가의 한계가 있다는 점은 인정했다. 

연구팀은 특히 개발 과정을 최적화했다면 더욱 싸게 모델을 만들 수도 있었다고 주장했다.

이와 함께 모델의 소스코드와 훈련 데이터를 깃허브에 공개했다. 다만 모델의 부작용을 걸러내는 미세 조정은 하지 못했다며 이용자들의 피드백을 요청했다. 또 데모 버전을 웹사이트에 공개했으나, 안전 문제와 호스팅 비용 상승에 따라 곧 중단했다.

오픈AI가 2020년 선보인 GPT-3는 훈련에 1000만달러(약 130억원)가 들었다. 샘 알트만 오픈AI CEO는 LLM의 운영 비용도 “눈물 나게 비싸다”고 밝힌 바 있어, LLM은 대기업의 전유물로 여겨져 왔다.

따라서 뉴아틀라스는 알파카 7B의 개발은 누구나 저렴한 비용과 작은 훈련 데이터로 언어 모델을 만들 수 있는 가능성을 보여준 사례로 꼽았다. 또 그만큼 언어 모델의 오남용 위험도 커질 가능성을 시사하고 있다고 지적했다.

출처 : AI타임스