Qwen 3.8 27B локально: память, квантизация и запуск

Qwen 3.8 27B существует как открытая модель: Alibaba выложила веса на Hugging Face 14 августа 2026 под лицензией Apache 2.0. Для запуска хватит видеокарты или Mac с 24 ГБ памяти, если брать 4-битную квантизацию. Ниже: расчёт памяти по формуле «параметры × бит на вес / 8», команды запуска и разбор того, когда дешевле платить за токены.

Существует ли Qwen 3.8 27B и что в ней открыто

Да. В карточке модели она описана как плотная (dense) языковая модель с визуальным энкодером: 27 млрд параметров, 64 слоя, скрытая размерность 5120. Слои чередуются по схеме «три слоя Gated DeltaNet, потом один слой полного внимания», поэтому полного внимания в модели всего 16 слоёв. Контекст 262 144 токена штатно и до 1 млн токенов с расширением. На входе текст, изображения и видео. Мышление включено по умолчанию, глубину задаёт параметр reasoning_effort: xhigh, medium или low.

Вокруг названия много путаницы, поэтому сведём запросы с реальностью:

Источник по датам и составу семейства: README репозитория Qwen3.8. Обзор линейки и цен вендора лежит в статье «Qwen 3.8: Max, 27B, цены».

Сколько памяти нужно: расчёт по формуле

Память под веса считается просто: число параметров × бит на вес / 8. Сложность в том, что «бит на вес» у квантизаций дробные. Мы не берём их из головы, а выводим из размеров файлов, которые Unsloth публикует для GGUF: бит на вес = размер в ГБ × 8 / 27.

Номинал занижает размер: у Q4_K_M на 18%, у IQ3_S на 16%, у Q8_0 на 7%. У квантизаций есть масштабы блоков, а часть тензоров остаётся в высокой точности. Поэтому считайте по столбцу «реально».

К весам добавляется кэш контекста. Здесь модель выигрывает от гибридной схемы: ключи и значения хранят только 16 слоёв полного внимания, у каждого 4 KV-головы размерностью 256. Для кэша в FP16 это 2 (ключи и значения) × 16 слоёв × 4 головы × 256 × 2 байта = 65 536 байт на токен. Это наш расчёт по параметрам из карточки: состояние слоёв DeltaNet и буферы рантайма мы не считали.

Складываем: Q4_K_M и контекст 32K дают 16,5 + 2,1 = 18,6 ГБ, плюс 1-2 ГБ на рабочие буферы. Это совпадает с таблицей Unsloth, где 4-битные версии требуют 16-19 ГБ, и с размером тега в Ollama, 18 ГБ. Что выбрать по железу, считая запас 1,5 ГБ:

На Mac часть памяти занимает система, так что строку «24 ГБ» читайте как верхнюю границу. Правило Unsloth: сумма RAM и VRAM должна примерно равняться размеру квантизации. Если памяти меньше, модель всё равно запустится, но заметно медленнее из-за выгрузки на диск.

Как запустить Qwen 3.8 27B: Ollama, llama.cpp, LM Studio

Ollama

Самый короткий путь. На странице модели указана одна версия 27B, 256K контекста, вход текст и изображения:

ollama run qwen3.8

Другие теги: qwen3.8:27b-mtp-q8_0 (30 ГБ), qwen3.8:27b-mtp-bf16 (56 ГБ), для Apple silicon qwen3.8:27b-mlx (18 ГБ). Ollama держит локальный сервер с OpenAI-совместимым адресом http://localhost:11434/v1/, ключ клиент требует, но не проверяет. Агента можно запустить сразу на этой модели: на странице Ollama приведены команды вроде ollama launch opencode --model qwen3.8. Установку агента разбираем в статье «OpenCode: установка и модели», а Qwen Code умеет работать с Ollama и vLLM, см. материал про Qwen Code.

llama.cpp и LM Studio

С конкретным уровнем квантизации удобнее llama.cpp. Файл подтянется с Hugging Face сам:

llama-server -hf unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M

В Windows llama.cpp ставится командой winget install llama.cpp. Для LM Studio есть ссылка lmstudio://open_from_hf?model=unsloth/Qwen3.8-27B-GGUF, квантизацию выбираете в окне загрузки.

vLLM и SGLang для сервера

Если нужен сервер на несколько карт, команда из README Qwen3.8 такая:

vllm serve Qwen/Qwen3.8-27B --port 8000 --tensor-parallel-size 4 --max-model-len 262144 --reasoning-parser qwen3 --enable-auto-tool-choice --tool-call-parser qwen3_coder

Рекомендованные параметры генерации по карточке модели. В режиме мышления: temperature 1.0, top_p 0.95, top_k 20. Без мышления: temperature 0.7, top_p 0.8, top_k 20 и presence_penalty 1.5. Отключается мышление параметром enable_thinking: False в запросе.

Когда локально, а когда API

Локальный запуск оправдан в трёх случаях: данные нельзя отправлять наружу, нужна работа без сети, либо вы постоянно гоняете большие объёмы и железо уже стоит на столе. Во всех остальных случаях считайте.

Возьмём допущение: 40 млн входных и 8 млн выходных токенов в месяц. По прайсу Claudexia на 29 октября 2026 qwen3.8-flash обойдётся в 40 × $0,10 + 8 × $0,28 = $6,24, а qwen3.8-max в 40 × $0,28 + 8 × $0,86 = $18,08. Видеокарта с 24 ГБ ради такой экономии не окупится, а вот приватность и офлайн-режим она даёт.

Оговорка важнее цены: qwen3.8-flash это не 27B. Качество этих моделей вслепую сравнивать нельзя. Поставьте оба варианта рядом и дайте им пять-десять своих задач:

from openai import OpenAI

local = OpenAI(base_url="http://localhost:11434/v1/", api_key="ollama")
cloud = OpenAI(base_url="https://api.claudexia.tech/v1", api_key="sk_cdx_ВАШ_КЛЮЧ")

question = [{"role": "user", "content": "Назови три причины запускать LLM локально."}]

for client, model in ((local, "qwen3.8"), (cloud, "qwen3.8-flash")):
    answer = client.chat.completions.create(model=model, messages=question)
    print(model, "->", answer.choices[0].message.content[:300])

Свежие модели DeepSeek тоже открыты под MIT, но на обычный компьютер не поместятся: у V4.1-Flash 552 млрд параметров, у V4 Pro 1,6 трлн. Подробнее в обзоре DeepSeek 4.1 Flash.

Qwen по API через Claudexia вместо локального запуска

Claudexia даёт API-доступ к моделям Qwen: ключ sk_cdx_..., оплата картой РФ, СБП или криптовалютой, адрес https://api.claudexia.tech/v1. Моделей 27B и Flash-Next в списке нет, актуальный набор отдаёт GET /v1/models и страница моделей.

Прайс Claudexia на 29 октября 2026, цены за 1 млн токенов, актуальные цифры на странице моделей:

Условия qwen3.8-flash-free смотрите на странице модели. Ключ создаётся по быстрому старту, о чате Alibaba, его официальных адресах и доступе из России рассказывает статья «Qwen Studio: сайт и вход».

FAQ

Существует ли Qwen 3.8 27B?

Да. Qwen3.8-27B опубликована на Hugging Face 14 августа 2026, лицензия Apache 2.0, плотная модель на 27 млрд параметров с поддержкой изображений и видео на входе. Берите веса из организации Qwen на Hugging Face (huggingface.co/Qwen). Копии и квантизации под сторонними аккаунтами существуют, их содержимое проверяйте отдельно.

Сколько памяти нужно для Qwen 3.8 27B?

В 4-битной квантизации Q4_K_M файл весит около 16,5 ГБ, с кэшем контекста 32K и буферами выходит 19-20 ГБ. В BF16 только веса занимают около 55 ГБ. Формула такая: параметры × бит на вес / 8, плюс кэш контекста, у этой модели около 64 КБ на токен в FP16.

Как запустить Qwen 3.8 27B в Ollama?

Установите Ollama и выполните ollama run qwen3.8. Скачается около 18 ГБ. Локальный сервер отвечает по адресу http://localhost:11434/v1/ по OpenAI-совместимому протоколу.

Запустится ли Qwen 3.8 27B на видеокарте с 16 ГБ?

Unsloth указывает для 3-битных версий 12-14 ГБ суммарной памяти, для 4-битных 16-19 ГБ. На 16 ГБ реалистична 3-битная версия с небольшим контекстом. Q4_K_M упрётся в предел, останется мало места под кэш.

Чем Qwen 3.8 Flash отличается от 27B?

27B это плотная открытая модель, которую вы запускаете сами. Qwen3.8-Flash в API размещает вендор, контекст у неё 1 млн токенов. Открытая Flash-Next (125 млрд параметров и 51 млрд эмбеддингов, 6 млрд активных) на странице Qwen3.8-Flash в QwenCloud не упоминается, поэтому считать их одной моделью нельзя.

Есть ли Qwen3.8-27B в Claudexia?

Нет, в каталоге на 29 октября 2026 есть qwen3.8-max, qwen3.8-flash, qwen3.8-flash-free и qwen3.8-omni-flash. Если нужна именно 27B, запускайте её локально, например командой ollama run qwen3.8.

Открыты ли веса у Qwen 3.7?

В официальных источниках, которые мы открыли, подтверждения нет. Серия 3.7 упомянута в README Qwen3.8 как предыдущая на той же архитектуре, а лента новостей репозитория между апрельскими релизами 3.6 и августовскими 3.8 релизов 3.7 не содержит.