genai токены и эмбеддинги
Как ИИ читает, если он понимает только числа? Текст разбивается на токены, каждому токену присваивается идентификатор, и каждый идентификатор становится векторным представлением: списком чисел, который работает как адрес на карте значений. Схожие значения расположены близко друг к другу, что обеспечивает работу поиска и RAG. Продолжительность около 4:46. Разделы 00:00 ИИ понимает только числа 00:24 Компьютерам нужны числа 00:54 Шаг первый: токены 01:32 Идентификаторы токенов и векторные представления 02:14 Карта значений 02:54 Король минус мужчина плюс женщина 03:19 Почему это важно: поиск и RAG 03:47 Попробуйте 04:08 Краткий обзор 04:30 Закрытие
Название:
genai токены и эмбеддинги
Категория:
Разное