LM studio
LM Studio — установка и базовые настройки
Вступление
Как установить LM Studio на компьютер и сделать базовые настройки, чтобы модель отвечала локально.
Скачать программу: https://lmstudio.ai/
С чего начинаем
С чего начинаем (Starting Given). На этом блоке: программа LM Studio уже скачана с сайта и установлена. Дальше — загрузить модель и выставить базовые настройки. Если программы ещё нет — сначала установка по ссылке выше / видео на странице, потом вернитесь к шагам настроек.
Порядок действий
Логика порядка.
- Сначала программа установлена и открыта — иначе настроек негде менять.
- Потом скачать модель — без модели нечего загружать в память.
- Потом настройки загрузки (GPU, контекст) — до или в момент Load.
- Потом проверка в чате — видно, что модель живая.
- Потом Local Server (API) — если нужно подключать другие программы.
Базовые настройки — по шагам
- Откройте LM Studio. В меню слева найдите раздел поиска/загрузки моделей (часто называется Discover / Models / иконка поиска).
- Скачайте одну модель под ваш ПК. Для старта обычно берут небольшую instruct-модель (ориентир 7B–9B в квантизации вроде Q4). Нажмите Download и дождитесь конца. Пока качается — можно не трогать остальные кнопки.
-
Загрузите модель в память (Load) и сразу посмотрите панель настроек загрузки:
- GPU Offload — сколько слоёв модели идёт на видеокарту. Если модель влезает в видеопамять — ставьте максимум (Max / все слои). Если вылетает ошибка памяти — чуть уменьшите ползунок или возьмите модель поменьше.
- Context Length — сколько текста модель «держит в уме». Для старта:
4096. Больше контекст = больше памяти. Не ставьте сразу 32k «на всякий случай». - Flash Attention — если переключатель есть, для старта обычно включают (быстрее и экономнее по памяти на многих видеокартах).
- Prompt / Chat template — оставьте Auto, если модель отвечает нормально.
- Проверьте в чате. Откройте Chat, напишите короткий вопрос («Привет, ты работаешь?»). Ответ должен появиться без облака. Если очень медленно (< нескольких слов в секунду) — чаще всего мало GPU Offload или модель слишком большая для ПК.
-
Базовый Local Server (API) — когда нужен доступ из других программ:
- Откройте вкладку Developer / Local Server (название может чуть отличаться в версии).
- Включите сервер (Start Server).
- Адрес по умолчанию:
http://127.0.0.1:1234/(илиlocalhost:1234). - Для начала слушать только этот компьютер достаточно; наружу (0.0.0.0) открывайте только если понимаете, зачем.
-
Если что-то не так — короткая диагностика:
- Нет ответа / ошибка загрузки → модель не загружена (Load) или не хватило памяти.
- Медленно → увеличьте GPU Offload или уменьшите Context Length / размер модели.
- Сервер не открывается → убедитесь, что Start Server включён и модель загружена.
Связанный материал про локальный WordPress в Docker: Сайты без Интернета — это другой контур; LM Studio его не заменяет.
Разбор настроек
GPU Offload — зачем трогать
Простыми словами. Это главный рычаг скорости: больше слоёв на видеокарте — быстрее ответы. На CPU та же модель может быть в разы медленнее.
- Max
- Если модель помещается в видеопамять — лучший старт.
- Меньше
- Если ошибка out of memory — снизьте offload или возьмите модель легче.
- Проверка
- В диспетчере задач / утилите GPU во время ответа должна расти нагрузка на GPU.
Context Length — память разговора
Простыми словами. Контекст — сколько недавнего текста модель видит. Больше число ≠ всегда лучше: растёт расход памяти.
- Старт
- 4096 — нормальная точка для первых диалогов.
- Когда больше
- Длинные документы / длинный чат — поднимайте постепенно.
- Симптом
- Не хватает памяти при Load или резкое замедление — уменьшите контекст.
Local Server — порт 1234
Простыми словами. Это «розетка» для других программ: чат внутри LM Studio может работать и без сервера; сервер нужен, чтобы ходить к модели снаружи по HTTP.
- Адрес
- http://127.0.0.1:1234/
- Условие
- Модель должна быть загружена (Load), сервер — Start.
- Безопасность
- Не открывайте доступ в сеть без понимания; для своего ПК хватает localhost.