Почему из-за ИИ ваша оперативная память подорожала в 6 раз

108 подписчиков

12+
12+

2 дня назад

ПожаловатьсяНарушение авторских прав

108 подписчиков

12+
12+

2 дня назад

ПожаловатьсяНарушение авторских прав
12+
12+

2 дня назад

Почему комплект оперативной памяти DDR5 объемом 32 ГБ подорожал с 75 евро до 447 евро? Ответ кроется в центрах обработки данных для ИИ. Большие языковые модели ограничены пропускной способностью памяти, а не вычислительными ресурсами. Память, решающая эту проблему, HBM (High Bandwidth Memory), производится на тех же кремниевых пластинах, что и DRAM в вашем ПК. В этом видео мы обсуждаем следующие темы: • Как LLM, например Llama 3.1 70B, считывает все свои весовые коэффициенты (~70 ГБ) для каждого токена • Почему кэш KV растет с каждым сообщением • Почему DDR5 не может быть быстрее: расстояние, 64 линии данных и проблемы с сигналом • Как работает HBM: многослойные кристаллы DRAM, сквозные кремниевые соединения (TSV) и интерпозер рядом с графическим процессором • Как Nvidia H100 достигает пропускной способности памяти ~3,35 ТБ/с • Почему HBM использует примерно в 3 раза больше пластин на гигабайт, и почему это приводит к росту цен на DRAM для всех • Новые заводы по производству памяти (Micron, SK hynix) и когда цены могут снова снизиться СОДЕРЖАНИЕ 0:00 Почему оперативная память стоит в 6 раз дороже 0:46 Как модели ИИ используют память 1:21 Кэш KV 2:20 Пропускная способность памяти: настоящий ИИ узкое место 3:13 Почему обычная оперативная память не справляется 4:05 HBM: многослойная память и TSV 4:48 HBM, подключенная к графическому процессору 5:26 Цена HBM 5:54 Почему HBM делает вашу оперативную память дорогой 6:38 Когда оперативная память подешевеет? 7:38 Краткое содержание ССЫЛКИ 📚 Приобретите сборник электронных книг «Компьютерная память и архитектура» по ссылке: https://bitlemon.lemonsqueezy.com/checkout/buy/d745ce58-0642-4dcd-8058-f5634a2b48a7?utm_source=youtube&utm_medium=video&utm_campaign=why-ram-so-expensive 📚 Магазин BitLemon: https://bitlemon.lemonsqueezy.com/?utm_source=youtube&utm_medium=video&utm_campaign=why-ram-so-expensive 💻 Присоединяйтесь к моему сообществу: https://www.skool.com/architects-guild-5563 ИСТОЧНИКИ • Индекс цен на DDR5, 3DCenter (октябрь 2026 г.): https://www.3dcenter.org/artikel/speicherkrise-preisindex-oktober-2026 • Обзор цен на оперативную память: https://computingforgeeks.com/ram-prices-2027 • Технические характеристики Nvidia H100: https://www.nvidia.com/en-us/data-center/h100/ • Прогноз дефицита памяти SK hynix, Tom's Hardware (11 июля 2026 г. и 25 августа 2026 г.) • Запасы HBM от Samsung распроданы на 2026 год, Asia Business Daily (29 января 2026 г.) • Samsung: HBM займет почти 30% мощностей DRAM в 2027 году, TrendForce: https://www.trendforce.com/news/2026/09/29/news-samsung-sees-hbm-taking-nearly-30-of-industry-dram-capacity-in-2027-up-from-20-currently/ • Новый завод Micron по производству памяти в Айдахо: https://www.micron.com/us-expansion/id • SK hynix: спрос на память для ИИ превысит предложение к 2030 году: https://mlq.ai/news/sk-hynix-says-ai-memory-demand-will-exceed-supply-through-2030/ • Илон Маск о том, что деньги становятся неактуальными, Fox Business (19 ноября 2025 г.) #hbm #aiinfrastructure #datacenter #gpu #ram #nvidia

Название:

Почему из-за ИИ ваша оперативная память подорожала в 6 раз

Категория:

Разное