ZIL.talks#6 ИИ-агент на Raspberry Pi: OpenClaw, PicoClaw и AI Hat+ 2 без облака
В седьмом выпуске подкаста ZIL.talks Михаил и Татьяна Ровнягины обсуждают ИИ-агентов - цифровых помощников, которые не только отвечают на вопросы, но и выполняют действия: работают с мессенджерами, запускают команды, обращаются к внешним сервисам и автоматизируют повторяющиеся задачи. Разбираемся, чем агент отличается от языковой модели, зачем распределять простые и сложные запросы между разными LLM и когда локальный инференс оказывается практичнее облака. Главный эксперимент выпуска — запускаем агента на Raspberry Pi 5 и проверяем, что изменится после подключения ускорителя Hailo H10. Темы выпуска Как устроены ИИ-агенты и чем они отличаются от обычного чат-бота Почему OpenClaw работает с разными облачными и локальными моделями Зачем простые задачи отдавать небольшим LLM, а сложные — более мощным моделям Что такое edge computing и почему данные полезно обрабатывать рядом с пользователем Чем легковесный PicoClaw отличается от OpenClaw на Node.js Что умеет Raspberry Pi AI HAT+ 2 с процессором Hailo H10 и 8 ГБ собственной памяти Почему NPU разгружает центральный процессор, но не гарантирует резкого роста скорости генерации Во сколько обходится такой стенд и когда обычный мини-ПК оказывается выгоднее Демонстрация: локальный агент на Raspberry Pi В практической части показываем, как собрать локальный AI-стек и с какими особенностями можно столкнуться на каждом этапе: Как установить Ollama и запустить модель Llama 3.2 1B на CPU Как развернуть OpenClaw и подключить к нему локальную модель Почему большой системный промпт может мешать работе небольшой LLM Как настроить легковесный PicoClaw для работы с локальным API Что потребуется для установки драйверов и runtime Hailo H10 Как запустить hailo-ollama и загрузить модель в формате HEF Чем отличается инференс на CPU и NPU в реальных задачах Какие сложности возникают при сборке такого стенда на Raspberry Pi Безопасность агентов Чем опасны prompt injection и инструкции, спрятанные на внешних сайтах Что может произойти, если дать агенту доступ к почте, файлам и выполнению команд Почему домашнего агента стоит запускать без root-доступа и конфиденциальных данных Как контейнеризация, песочница и минимальный набор инструментов помогают снизить риски Кто отвечает за действия автономного агента и почему его работу нужно контролировать Для кого этот выпуск Выпуск будет интересен тем, кто хочет познакомиться с ИИ-агентами, запустить локальную LLM или собрать компактный стенд для экспериментов с edge AI. Обсуждаем не только возможности OpenClaw, PicoClaw и Hailo H10, но и стоимость, ограничения и безопасность такого решения.
Название:
ZIL.talks#6 ИИ-агент на Raspberry Pi: OpenClaw, PicoClaw и AI Hat+ 2 без облака
Категория:
Разное