О чем вы узнаете:
Большие языковые модели (ВММ или LLM), такие как ChatGPT, Gemini, Claude, стали символом революции в сфере искусственного интеллекта. Они могут не только отвечать на вопросы, но и писать эссе, создавать программный код, переводить языки и даже генерировать творческие тексты, которые практически невозможно отличить от человеческих. Проще говоря, LLM - это высокоинтеллектуальный механизм автозавершения текста, обученный на огромном количестве текстовых данных, который работает по принципу прогнозирования следующего слова в последовательности. Они не мыслят, не имеют сознания или убеждений, однако генерируют ответы, основываясь на сложных статистических закономерностях, изученных из миллиардов примеров человеческой речи. Главред расскажет более подробно.
Как рассказывают на канале "Хмаринка Science", модели искусственного интеллекта напрямую со словами работать не могут. Первое, что они делают, - превращают каждое слово в числовой формат.
Токенизация
Текст разбивается на токены - это может быть целое слово, приставка, суффикс или даже отдельный символ.
Эмбединг
Каждый токен ассоциируется с длинным перечнем чисел, который называется вектором или эмбедингом. Эти числа располагаются в многомерном пространстве.
Фиксация смысла
Чем ближе в этом векторном пространстве расположены два эмбединга, тем более похожими по значению они считаются. Итак, LLM работает не с самим словом, а с его смыслом и контекстуальной связью с другими словами.
Ключевой элемент, который позволил LLM достичь такого прогресса, - архитектура трансформера, разработанная компанией Google. Главное ее отличие от старых нейронных сетей - механизмвнимания (attention).
Параллельная обработка
В отличие от предыдущих моделей, которые последовательно читали текст, трансформер одновременно, параллельно обрабатывает весь входной текст.
Понимание контекста
Механизм внимания позволяет модели понять, как различные слова в предложении взаимосвязаны и насколько важны для определения смысла. Когда модель предполагает следующее слово, она учитывает значение всех предыдущих слов и их позицию в тексте.
Видео о работе языковых систем можно посмотреть здесь:
LLM обучаются в два этапа на основе больших массивов немаркированного текста.
Предварительное обучение
На этом этапе модель работает по принципу самоуправляемого обучения. Ей подают отрывок текста и просят спрогнозировать следующее слово. Такое обучение является универсальным и позволяет модели изучить грамматику, синтаксис и стилистику языка, а также создать сложную карту взаимосвязей между миллиардами слов и понятий.
Тонкая настройка
После предварительного обучения универсальная LLM становится "эрудированным провидцем", однако она еще не знает, как общаться с человеком. Для этого применяется контролируемое обучение и обучение с подкреплением(RLHF).
Контролируемое обучение: модели предоставляют конкретные инструкции и качественные примеры ответов, обучая ее реагировать на запросы, а не просто предсказывать следующее слово.
RLHF: модель учится соответствовать ожиданиям людей, генерируя ответы, которые являются более полезными, правдивыми и безопасными.
Стоит помнить, что LLM - бессознательные системы. Они генерируют ответы, которые являются статистически наиболее вероятными на основе учебных данных, а не результатом знаний или опыта. Поскольку модель только предполагает следующее слово, она может "придумывать" или сочетать несочетаемые факты, которые звучат правдоподобно, но являются ошибочными. Такое явление называется галлюцинацией.
LLM не способны понимать эмоции, не осознают своей ответственности и не имеют убеждений. Они просто имитируют человеческую речь, используя шаблоны, усвоенные из данных.
Вас может заинтересовать:
Канал "Хмаринка Science" является крупным научно-популярным и познавательным украиноязычным ресурсом с более 227 тысячами подписчиков. Его миссия - популяризация мировой науки и технологий, что делает сложные знания доступными для широкой аудитории. Основной контент включает переводы лекций известных ученых, а также видео об актуальных достижениях, изобретениях и технологиях будущего. Канал охватывает такие темы, как космические исследования, физика и общие научные новости.