Октябрь 2026
Нейросеть можно запустить на домашнем компьютере, если у видеокарты хватает памяти на саму модель. Модель на 8 миллиардов параметров, например Llama 3.1 8B, в сжатом формате Q4 занимает 4,9 ГБ и помещается в видеокарты RTX 3060 12GB и RTX 4070 12GB. Модели на 100 миллиардов параметров и больше в формате Q4 занимают от 67 ГБ (Llama 4 Scout) и не помещаются в память одной домашней видеокарты — даже у RTX 5090 её 32 ГБ.
Сколько видеопамяти нужно, чтобы запустить локальную нейросеть?
Объём видеопамяти для локальной нейросети считают по числу параметров модели. В формате Q4_K_M на каждый миллиард параметров приходится 0,6–0,63 ГБ весов: Llama 3.1 8B в библиотеке Ollama весит 4,9 ГБ, Qwen 3 14B — 9,3 ГБ. Сверху добавляют память на контекст диалога: у Llama 3.1 8B каждые 8 тысяч токенов контекста занимают около 1 ГБ.
Q4 — это квантизация: веса модели хранятся примерно в 4–5 битах вместо 16. Llama 3.1 8B в 16-битном формате весит 16 ГБ, а в Q4 — 4,9 ГБ, то есть примерно в 3 раза меньше. Именно квантизованные модели запускают на домашних видеокартах.
Какая видеокарта подойдёт для нейросети на 8 и 14 миллиардов параметров?
Для нейросети на 8 миллиардов параметров хватает видеокарты с 12 ГБ памяти, для модели на 14 миллиардов с запасом на контекст — с 16 ГБ. Размеры моделей в формате Q4 по библиотеке Ollama:
- Llama 3.1 8B — 4,9 ГБ. Подходят RTX 3060 12GB и RTX 4070 12GB.
- Qwen 3 14B — 9,3 ГБ. Подходят RTX 4080 16GB и RTX 3090 24GB.
- Llama 4 Scout (109 миллиардов параметров, из них 17 активных) — 67 ГБ в формате Q4_K_M по библиотеке Ollama. По данным Meta, модель в формате Int4 помещается на один серверный ускоритель H100 80GB.
Важны ли процессор и оперативная память для локальной нейросети?
Процессор и оперативная память почти не влияют на работу локальной нейросети, если модель целиком помещается в видеокарту. Объём видеопамяти определяет, какую модель получится запустить, а пропускная способность видеопамяти — как быстро модель будет печатать ответ. У RTX 3060 12GB пропускная способность памяти 360 ГБ/с, у RTX 4070 — 504 ГБ/с, у H100 SXM — 3,35 ТБ/с. Поэтому при выборе железа под нейросеть сравнивают в первую очередь гигабайты и скорость памяти видеокарты, а не число ядер процессора.
Можно ли запустить нейросеть на ноутбуке или Mac?
Нейросеть можно запустить на ноутбуке с дискретной видеокартой и на компьютерах Mac с чипами Apple Silicon. Один из способов — программа Ollama: команда ollama run скачивает модель и открывает чат с ней. Ограничение то же, что и у настольного компьютера, — объём памяти, доступной модели: она должна вместить файл модели целиком, 4,9 ГБ для Llama 3.1 8B или 9,3 ГБ для Qwen 3 14B, и ещё память на контекст.
Почему большие модели не запускают дома?
Большие модели не запускают дома из-за памяти и питания. Llama 4 Scout в формате Q4_K_M занимает 67 ГБ, Qwen 3 235B (235 миллиардов параметров, из них 22 активных) в формате Q4 — 142 ГБ, то есть нужны 2 ускорителя H100 80GB. Один H100 в исполнении SXM потребляет до 700 Вт, тогда как у RTX 3060 12GB этот показатель — 170 Вт.
Что проверить перед покупкой видеокарты под нейросеть: чек-лист из 6 пунктов
- Какая модель нужна. Число параметров определяет объём памяти: 0,6–0,63 ГБ на миллиард в формате Q4_K_M.
- Объём видеопамяти. 12 ГБ — для моделей на 8 миллиардов параметров, 16 ГБ — на 14 миллиардов.
- Запас на контекст. Длинный диалог и большие документы занимают память сверх веса модели: у Llama 3.1 8B около 1 ГБ на 8 тысяч токенов.
- Пропускная способность памяти. От неё зависит скорость ответа.
- Блок питания. Потребление видеокарты указано в спецификации производителя: у RTX 3060 12GB — 170 Вт.
- Программа для запуска. Ollama подходит для одного пользователя на своём компьютере.
Что говорит специалист о железе для локальных нейросетей?
Редакция справочника по искусственному интеллекту aibot.direct приводит такие данные:
«Объём видеопамяти определяет, какую языковую модель получится запустить на своём компьютере, а пропускная способность памяти — с какой скоростью она отвечает. Если модель целиком помещается в видеокарту, оперативная память и процессор почти не влияют на работу. В тесте компании Red Hat, опубликованном в августе 2025 года, на одной видеокарте A100 40 ГБ с моделью Llama 3.1 8B пиковая скорость vLLM при росте числа одновременных пользователей составила 793 токена в секунду, а Ollama с настройками по умолчанию — 41».
Когда домашней видеокарты перестаёт хватать, следующий шаг — сервер с ускорителем уровня H100 80GB. Модели, железо и программы для этого случая справочник разобрал в материале про запуск языковой модели на сервере.
