NeurIPS • 2020

Language Models are Few-Shot Learners

Prompt ішіне 2–3 мысал берсеңіз — модель «үйренгендей» болып, жаңа тапсырманы бірден орындай алады. Бұл құбылыс кейін in-context learning деп аталды.

НЕ ТУРАЛЫ?

Бұл мақала GPT-3 сияқты аса үлкен тіл моделін тек алдын ала үйрету (pretraining) арқылы өсіріп, кейін арнайы fine-tuning жасамай-ақ, prompt ішіндегі аз ғана мысалмен (few-shot) көптеген тапсырмада күшті нәтиже алуға болатынын көрсетеді.

175B параметр (GPT-3)Brown және т.б.OpenAI
Бұл жұмыс “model-as-a-service” дәуірін ашты: тапсырмаға емес, модельге инвестиция.

Бұрын көп міндет үшін бөлек модель және бөлек fine-tuning керек болатын. GPT-3 идеясы — бір үлкен модельді бір рет үйретіп, әр тапсырманы prompt арқылы “бағдарламалау”.

Бұл парадигма бүгінгі өнімдердің негізіне айналды: чатбот, код көмекшісі, құжатпен жұмыс, агенттер — бәрі prompt-қа сүйенеді.

Негізгі инсайт
Масштаб өскен сайын модельдерде күтпеген жаңа қабілеттер пайда болады — соның бірі: few-shot learning.
Бұл — модельді қайта үйретпей-ақ, prompt ішіне 2–10 шамасында мысал беріп, жаңа тапсырмада жақсы нәтиже алу. Яғни “үйрету” салмақтарды өзгерту арқылы емес, контекст арқылы жүреді.
Кейде — иә, әсіресе тез прототиптеу үшін. Бірақ өндірісте тұрақтылық, құн, қауіпсіздік, жеке доменге бейімдеу керек болса, fine-tuning немесе retrieval секілді тәсілдер әлі маңызды.

Бұрынғы Мәселе

“Әр тапсырмаға бөлек fine-tuning” ауыр әрі баяу.

БҰРЫН
Dataset → Fine-tune → Deploy (әр міндетке бөлек)
  • Дерек жинау/тазалау көп уақыт алады
  • Инфрақұрылым ауыр: көп модель, көп версия
  • Жаңа міндет үшін қайтадан цикл басталады
  • Жылдам эксперимент жасау қиын
КЕЙІН
One model → Prompt (контекст арқылы “үйрету”)
  • Тапсырманы prompt-пен сипаттайсыз
  • 2–3 мысал бересіз
  • Модель бірден жұмыс істейді
  • Прототиптеу жылдамдайды
Визуал интуиция: “модельді” емес, “prompt-ты” баптау
Fine-tuning жолы
1) Labelled dataset
2) Training run
3) Eval
4) Deploy
Prompting жолы
1) Нұсқаулық
2) 2–3 мысал
3) Бірден нәтиже
4) Итерация (prompt)
Себебі модельдің салмақтары өзгермейді. Бірақ контекст (prompt) ішінде берілген үлгілер модельдің келесі токенді болжауын “бағыттайды”. Бұл — оқу емес, бірақ оқу сияқты әсер береді.
Үлкен модель көп паттернді pretraining кезінде көріп, ішкі кеңістікте әмбебап қабілеттер жинайды. Prompt сол қабілеттердің қайсысын “оятатынын” анықтайды.

Басты Жаңалық

“Few-shot learning” — тапсырманы prompt ішіндегі мысалдар арқылы көрсету. Яғни модельге “ережені” сөзбен емес, мысалмен түсіндіру.

Zero-shot — тек нұсқаулық. One-shot — 1 мысал. Few-shot — бірнеше мысал. Мысал көбейген сайын модель “стиль” мен “форматты” тезірек ұстайды, бірақ контекст лимиті бар.
Белгілі бір мағынада — иә. Сіз модельдің мінез-құлқын мәтін арқылы “конфигурациялайсыз”. Бірақ бұл детерминизм емес: стохастика, бейтараптық, қателік ықтималдығы бар.

Жүйенің Құрылысы

GPT-3 — Decoder-only Transformer.

Бұл бағыт “келесі токенді болжау” (causal LM) үшін өте ыңғайлы. Decoder-only стек генерацияға табиғи келеді: мәтінді біртіндеп шығарады.
Болашақ токендерге қарауға тыйым салады. Әйтпесе модель “жауабын” көріп қойып, жалған үйренер еді.

Қолданыс аймақтары

🗣️ Диалог және көмекші

Prompt арқылы роль, стиль, шектеу беріп, чат форматында қолдануға болады.

🧾 Құжатпен жұмыс

Резюме, жоспар, келісім-шарт құрылымы — бәрі prompt арқылы түрленеді.

💻 Код генерациясы

Код — тіл. Few-shot мысалдармен стильді ұстап, шаблондарды тез шығарады.

🔎 Іздеу/қорытындылау (RAG-пен)

Сыртқы дерекпен біріктірсе, нақты жауап пен сілтеме беру мүмкіндігі артады.

🧠 Оқыту және тест

Мысалдар арқылы “оқытушы” режимін қосып, түсіндіру, тапсырма құрастыруға болады.

🧩 Формат түрлендіру

Кесте → мәтін, мәтін → JSON, стиль/тіл ауыстыру — prompt-тағы үлгімен бақыланады.

Осы мақала идеясынан туған өнімдер

Few-shot парадигмасы өнімде қалай көрінді?

Timeline
Кеңес: картаға басыңыз — кеңейеді.

Мақала дүниені қалай өзгертті?

БҰРЫН
  • Көп міндетке бөлек fine-tune
  • Дерек жинау — bottleneck
  • Жаңа тапсырмаға бейімдеу баяу
  • Бір жүйені әмбебап ету қиын
КЕЙІН
  • “Prompt engineering” пайда болды
  • One model — көп міндет
  • Прототиптеу минуттарға қысқарды
  • LLM өнімдері жаппай тарады

Қорытынды

Problem
Fine-tuning әр міндетке бөлек болғандықтан баяу және қымбат
Method
Үлкен LM-ді pretraining арқылы өсіру және prompt арқылы басқару
Result
Zero/one/few-shot режимдерінде көптеген тапсырмада күшті нәтиже
Impact
Prompt-first өнімдер, LLM платформалары, агенттік интерфейстер

Тереңдетілген талдау

Масштабтың күші, шектеулер және ғылыми сұрақтар.

Профессордың көзқарасы

Бұл мақала “масштаб — функция” екенін көрсетіп берді: дерек + есеп + параметр өссе, бір ғана objective (next-token prediction) көптеген қабілетке жол ашады.

Ғылыми мәні: “оқу” салмақта емес, контексте де болуы мүмкін екенін эмпирикалық дәлелдеді.

Сын көзбен қарау

Few-shot әрдайым сенімді емес: prompt сезімтал, hallucination мүмкін.

Әділет/қауіпсіздік, құпия дерек, энергия/есеп құны — үлкен сұрақ. “Үлкенірек” әрқашан “жақсырақ” емес.

Үлкен сурет

Бұл жұмыс prompt, RAG, tool-use, agent концепцияларының өнімге айналуына жол ашты.

Қазір басты сұрақ: модель тек “үлгі қайталай ма”, әлде нақты reasoning құрылымын қалай береміз?

Болашақ зерттеу бағыттары

1. In-context learning теориясы
Белсенді зерттеу
Неге few-shot жұмыс істейді? Бұл meta-learning бе, әлде retrieval/индукция құбылысы ма?
2. Prompt тұрақтылығы
Белсенді зерттеу
Prompt-қа сезімталдықты азайту: robust prompting, calibration, self-consistency.
3. Қауіпсіздік және басқару
Белгіленген бағыт
Alignment, red-teaming, policy learning — үлкен модельдердің қоғамға әсері негізгі мәселе.

Қатысты мақалалар

Осы explainer-ді кеңейтетін іргелес жұмыстар.

2017
RELATED
Attention Is All You Need
Vaswani et al.

GPT-3 секілді модельдердің архитектуралық түбірі болған Transformer жұмысын түсіндіреді.

2022
RELATED
Training language models to follow instructions with human feedback
Ouyang et al.

Few-shot prompting-тен кейінгі келесі қадам: instruction-following және RLHF.

2023
RELATED
A Comprehensive Survey on Pretrained Foundation Models
Zhou et al.

BERT-тен ChatGPT-ке дейінгі масштабтау, prompting және alignment эволюциясын жинақтайды.

Түсіндірме сөздік

Негізгі терминдерді бір стильде жинақтау.

Аз мысалды оқыту
Few-shot learning
Prompt ішіне бірнеше үлгі беріп, модельді қайта үйретпей-ақ жаңа міндетке бейімдеу тәсілі.
Контекст арқылы үйрену
In-context learning
Модель салмақтары өзгермей, тек контекст үлгілері арқылы мінез-құлқын бейімдейтін құбылыс.
Алдын ала үйрету
Pretraining
Үлкен корпуста келесі токенді болжау арқылы жалпы тіл заңдылықтарын сіңіру кезеңі.
Галлюцинация
Hallucination
Модельдің сенімді түрде қате немесе дәлелсіз ақпарат айтуы.

Бұл кімдердің еңбегі?

Авторлар
Барлық авторлар толық көрсетілген.
OpenAI
Tom B. Brown
Benjamin Mann
Nick Ryder
Melanie Subbiah
Jared Kaplan
Prafulla Dhariwal
Arvind Neelakantan
Pranav Shyam
Girish Sastry
Amanda Askell
Sandhini Agarwal
Ariel Herbert-Voss
Gretchen Krueger
Tom Henighan
Rewon Child
Aditya Ramesh
Daniel M. Ziegler
Jeffrey Wu
Clemens Winter
Christopher Hesse
Mark Chen
Eric Sigler
Mateusz Litwin
Scott Gray
Benjamin Chess
Jack Clark
Christopher Berner
Sam McCandlish
Alec Radford
Ilya Sutskever
Dario Amodei
Publication info
NeurIPS 2020 · arXiv:2005.14165 · Published 2020