Mistral Nemo 12B и его производные прекрасно говорят по-русски. Лично я на них наконец-то отказался от переводчика. Плюс эти модели лёгкие и идут почти на всём. Советую.

SEAART.AI  на любом языке,хоть в перемешку. (но он не локальный,разумеется,зато условно-бесплатный)

koboldcpp только включи не куда а АМД апи - видяха нужна гиг  хотя бы а лучше 12 - на 4 гигах ничего не заведешь

новые сетки все понимают русский и отвечают на русском - но лучше и качественней генерят на английском

кайф
бери смотри разные сетки - тебе можно брать до 12-17Б параметров

поиграйся с числом слоев и другими параметрами
пример моего файла запуска (у меня 2 видяхи)

.\koboldcpp_cu12.exe --model с:\Llama-3.1-IQ3_M.gguf --blasthreads 8 --threads 8 --usecublas 1 --gpulayers 60 --tensor_split 20 40 --contextsize 16384 --blasbatchsize 512 --port 5001 --flashattention --quantkv 1 --multiuser 0

ставь число слоев - запускай - смотрю по таск менеджеру что видеопамяти осталось пару сотен мегабайт свободной

LLMы не умеют трэчить стэйты, каждый отдельный LLM ограничен "окном контекста" и у всех они разные, в зависимости от модели и её целей - окно контекста может быть как "достаточно" большим, так и крайне маленьким.
Что такое "окно контекста" - фактически, это то, что модель может учесть, при обработке запроса и как только информация выходит за рамки контекста - она теряется и LLM её не учитывает.

Т.е. на текущем этапе, модели мало пригодны для таких задач, особенно бесплатные.

На данный момент, всё на что способны такие модели - это генерировать идеи (если случился затык), либо какие-то названия/описания, и даже в этом случае - с русским языком там всё плохо, как правило, модели учат на английском языке, а на русский они уже переводят "по мере своих возможностей".

Опять-же, как я сказал выше - LLMы на данный момент крайне хреново с такими задачами справляются, и уж тем более локальные LLMы, т.к. все ТОПовые модели - зацензурированны в хлам, даже Китайские.
Более того, 7/14B - это самый стартовый уровень, мало на что способный, серьёзные модели начинаются с 30-40B и выше, и гонять их на локальнх компах - крайне проблематично.

Лучше используй базовый GPT, да, "нецензурные" тексты он тебе не будет генерировать, но в целом - идею или историю он разогнать способен лучше, чем любые другие "бесплатные" нейронки.

Проще говоря - LLMы не являются "решением" для таких задач, в частности, из-за ограничения по контексту.
Но для решения конкретных вопросов - они неплохи.
Т.к. были уже попытки делать игры с использованием текстов, сгенерированными нейронкой - и все они с треском провалились, т.к. текста получаются "стерильные", в них нет "души", они будут грамотно написаны, в них будет много деталей - но, всё это, будет монотонный текст.
Когда человек пишет текст - он основывается на своём опыте, на своих знаниях (пусть и ограниченных) и своём восприятии, и этот самый опыт, он преобразовывает в текст - от этого, текст и стиль получаются "уникальным" и люди это чувствуют, LLMы-же на такое не способны на данный момент.

Возможно, когда супер-огромные модели станут КРАТНО дешевле, и станут публичными - вот тогда, возможно, они будут способны генерировать интересные тексты, но на данный момент - это пустая трата времени.

На самом деле, качество ответов зависит от кол-ва параметров у модели, данных на которых модель была натренирована и методике обучения модели.
Всё вместе, может давать абсолютно разные результаты, т.е. модель, которая была обучена на кулинарных рецептах - вряд-ли  сможет создать тебе даже лэндинг на HTML.

Есть специализированные модели, которые обучаются под конкретные задачи, например, работа с кодом, или перевод текста, есть даже модели, которые обучены проверять текст на DEI - Т.е. может-ли текст "оскорбить" кого-то или нет.
Есть и более "общие" модели, такие как GPT, для сравнения - "tarling-lm-7b-beta_q4_k_m.gguf" имеет всего 7 миллиардов параметров, в свою очередь, GPT4 имеет 1.76 ТРИЛЛИОНА параметров.

Тут нужно понимать одну вещь, LLMы не обладают "целостной" информацией, при получении запроса, они в прямом смысле "генерируют" ответ, т.е. запрос разбивается на токены и проходит через своего рода "сито", этим "ситом" - является кол-во параметров в модели, чем больше параметров - тем точнее ответ.
Естественно, это сильное упрощение, т.к. тут много факторов влияет на финальный результат, начиная от качества информации, на котрой модель была обучена, заканчивая архитектурой самой модели.

В целом - LLMы крайне полезны, в частности GPT, если ему задавать "правильные" вопросы в точных формулировках, то и результаты будут соответственными.

А вот локальные модели - мало на что способны, точнее так, они не совсем бесполезны, но на "средних" PC - в лучшем случае можно на постоянке 20B модель гонять, которая по всем параметрам будет уступать даже бесплатному GPT.
Типа, если нет интернета - то это рабочий вариант, но честно, лучше использовать GPT и не парится.

Через VPN, естественно. Например, через Epic Privacy Browser - это малоизвестный браузер со встроенным VPN.
Если нужно зарегистрироваться и нет "забугорого" номера телефона - то это тоже легко решается, в интернете сотни сервисов для регистрации "временных" номеров телефона, т.е. чисто для SMS.
Было-бы желание, а так тут проблем вообще нет.

Отредактировано LostEternity (2025-01-17 11:30:27)

Ну да, эта штука умная)))
Хотя, не стоит забывать про "галлюцинации" которыми страдают все LLMы, GPT в меньшей степени, но всё-же иногда тоже галлюцинирует.
Галлюцинации LLMов - это отдельная тема и лучше почитать статьи по этой теме, либо посмотреть видео на ютубе.

Я её использую для решения разных затыков, т.е. когда не знаю как подступится к проблеме, оно меня не раз выручало, в частности, если у тебя есть затык с какой-то идеей - опиши её и он тебе накидает потенциальные варианты решения.
Либо, не помнишь какой-то фильм или игру из "далёкого" прошлого, описываешь ему всё что помнишь - и он тебе накидывает потенциальные варианты, которые, как правило - верны.
Применений ему масса, от самых банальных до крайне сложных.

Нет проблем.

Тут главное научится правильно формулировать запросы, т.к. хоть эта штука и не лишена абстрактного мышления, тем не менее - это машина, и по большей части, она интерпретирует запросы буквально.
Иногда появляются проблемы с "недопониманием", хотя, по сравнению с GPT3 - GPT4 намного лучше с этим справляется, GPT3 был плох в этом плане и очень часто впадал в галлюцинации.

Ну если приноровиться, все вопросы могут решаться через GPT - и он неплохо умеет разгонять темы, в общем - полезная штука, и кратно лучше, чем любые локальные LLMы.