Self-Consuming Generative Models Go MAD
Seismic advances in generative AI algorithms for imagery, text, and other data types has led to the temptation to use synthetic data to train next-generation models. Repeating this process creates an autophagous (self-consuming) loop whose properties are p
arxiv.org
ChatGPT는 InstructionGPT를 기반으로 만들어 졌고, RLHF의 방식으로 학습되어져 있습니다. 따라서 AI의 학습 단계에 인간이 투입되어 데이터를 만들고, 만든 데이터로 학습하고, 이후 스스로학습하는 강화학습으로 스스로를 발전해 나가는 방식으로 학습이 이루어집니다.
ChatGPT의 학습은 실제 데이터를 가지고 학습이 된다는 점입니다. RLHF와 같은 학습 방법으로 RLAIF라는 학습 방법도 있는 이는 모델이 학습에서 사람이 차지하는 부분 일부를 AI로 대체해서 학습하는 방법입니다. 가장 대표적인 모델로는 라마가 있습니다.
해당 논문에서는 대규모 언어 모델(LLM) 분야에서도 합성 데이터는 활발히 활용되고 있다고 하고, 이런 합성 데이터를 사용해 라마를 파인튜닝한 대표적인 모델인 알파가있습니다. 알파카는 오픈 소스 모델 '라마 2'를 GPT 3.5(text-davinci-003)가 만든 52,000개의 예제를 활용해서 파인 튜닝한 모델입니다. 알파카 모델은 70억 개의 비교적 적은 파라미터로도 GPT 3.5와 비슷한 성능을 보였고, 연구진은 데이터 생성을 위한 GPT API 비용이 500달러 이하였다고 밝혔습니다.
합성 데이터가 각광받기 시작하면서 그 문제점에 대한 연구도 활발히 진행되고 있습니다. 여러 연구에서는 인공지능이 충분한 실제 데이터 없이, 합성 데이터를 지나치게 학습한다면 점점 성능이 낮아지고 이상해진다고 지적되고 있습니다.
7월 라이스 대학과 스탠포드 대학 연구진은 본 논문을 발표 했고, 해당 논문에 주요한 내용은 다음과 같습니다.
“생성적 모델이 생성적 모델로부터의 합성 데이터에 훈련되고 있습니다” “이는 지속되는 자기소비적 루프를 만들고, 각 루프 단계에서 충분한 신선한 실제 데이터가 없으면 미래의 생성 모델의 정확도는 감소합니다. 우리는 이 상태를 Model Autophagy Disorder (MAD, 모델 자기 소비 장애)라고 부르며, 이는 광우병에 비유하고 있습니다.”