Вот подвезли первую игру с нейронкой внутри (по сути тот же чат, но для тех кто не осилил сам поднять кобольда):
https://f95zone.to/threads/gaisha-alpha … ha.202203/

Я кстати интересную карточку нашёл:
https://chub.ai/characters/SpringyTwist/text-adventure

Попробуйте её с какой-нибудь хорошей RP-шной моделью.

Кстати Silly Tavern с того времени, когда я её раньше использовал, очень сильно продвинулась вперёд. Там даже есть теперь переводчик в обе стороны - то есть ты пишешь модели на русском, она получает запрос на английском, отвечает тебе на английском - а ты получаешь ответ на русском Не без косяков, но играть можно. Разобраться бы ещё в огромном количестве функций этой таверны...

Две топ модели на сегодня 35Б параметров
Command-R (не + а обычная версия) и Qwen

Если кто знает топ модели на 20Б+ параметров пишите - кроме luxia ни одной не знаю

Попробуйте Lewd-Sydney-20B. Меня она приятно удивила после InfinityRP-v1-7B. Насчет "топ" не уверен конечно.

DX2
да в целом любая современная по обработке изображений. Дальше "всего лишь" нужно разобраться как подключить к ней LoRa и другие плагины чтобы загрузить базу, а затем выдать правильный ПРОМТ. Какая именно лучше всего подойдет я не знаю. У меня слишом слабое железо чтобы играться с такими штуками, а онлайн графика чет дорого стоит

Poppy_Porpoise-v0.2-L3-8B-GGUF-IQ-Imatrix
Рабочий вариант.

Aura_Uncensored_l3_8B-GGUF-IQ-Imatrix

Отредактировано jm (2024-04-21 08:14:40)

Говорят, что aya-23 8B ничего:
https://huggingface.co/bartowski/aya-23-8B-GGUF

И Llama3 8B вроде может, искать на huggingface.co по запросу "Llama3 8B gguf", там уже довольно много модификаций, которые может уже и плохо умеют в русский, но чистая модель должна уметь. Лично я давно забил и пользуюсь встроенным в Silly Tavern переводчиком, хоть он и далёк от совершенства. Но дело в том, что текст, генерируемый моделями тоже далёк от совершенства, поэтому модель 1) Неплохо его воспринимает и 2) Ответ в переводе достаточно адекватен.

От видеокарты зависит. Например для видеокарты с 8Гб видеопамяти примерно так:
koboldcpp.exe --usecublas lowvram --contextsize 8192 --blasbatchsize 512 --gpulayers 19 --flashattention --threads 8 --highpriority --model Имя_модели_нейросети.gguf

Дальше нажимаешь Ctlr+Shift+Esc, открываешь Диспетчер задач и во вкладке "Производительность-Графический процессор" смотришь потребление видеопамяти. Она должна быть загружена не более чем на 90%, если больше - закрываешь Кобольд и правишь батник, а именно уменьшаешь количество слоёв, выгружаемых на видеокарту (параметр gpulayers). Ну и наоборот, если видеопамять недогружена.

Отредактировано Vlad100 (2024-06-15 17:27:53)

Вышла Mistral Large 2 123B. Это событие, которого уже давно ждали. Miqu 70b (первая Mistral Large) была хороша, вот только исправить/добавить в неё ничего было нельзя. А новая версия, как говорят, не уступает большой Лламе 3.1 405В, которая при таких размерах особо никому не нужна. Теперь ждём файнтюнов, децензоров и всего такого.