Ничего не делал использую таверну как есть, редактирую только карточки ГГ и карточки персонажа
ну и пресет Mirostat включил (другие кроме этого и дефолта и не использовал)
Оригинал сетки вроде доступен никуда не делся
Разметка текста часто сбивается если сетка не успевает дописать и лимит кончается, но меня это не парит можно и руками поправить

пробуй и другие из топов, может именно тебе зайдет DARE_TIES (очень говорливая)

она с картинками! в Лор буке описанны действия и урлы на картинки и чят бот успешно шлет нудсы в процессе общения(автор говорит что больше сотни картинок итого есть)!

Отредактировано nomiren472 (2024-03-11 20:27:20)

Остались Gguf форматы от других авторов. А оригинал кореец удалил, теперь любопытно почему конечно...
https://huggingface.co/HanNayeoniee/my_ … cussions/1

Лично я бы хотел, чтобы кто-нибудь со мной поделился форматами промптов. С примерами. Вот например есть формат Альпаки, на который она натренирована. Но их несколько - может есть что-нибудь универсальное? {char}, {user}, вот это вот всё имею в виду. И как задавать форматирование для разных типов моделей? Чтобы например мысли она заключала в три апострофа = '''Мысли модели''', или в звёздочки. Во что захочу - в то бы и заключала.

Не то чтобы я специалист, но вот точно знаю что макросы вроде {{char}} и {{user}} нейросеть не видит. Она видит именно имена и работает с ними.
По поводу формата то вот как натренировали, так и работает. Какие-то сетки явно воспринимают то что в тегах [INST][/INST] как какие-то специальные указания/промты и имеет смысл в них оформлять все что ты хочешь передать как указания. Проблема что не ко всем сеткам я нашел в документации или readme какое-то внятное описание как им лучше передавать "системную" информацию. В большенстве случаев вроде как достаточно заключать текст в квадратные скобки[]. Но вот та же LHK DPO если ей писать в [] то она и отвечает в []

Также для понимаю очень советую изучить логи кобольда чтобы видеть что именно в нейросетку прилетает. Станет понятнее как формируется Промт и что на самом деле все эти "диалоги" это генерация нейросети единого текста, но разбитого на блоки с {{char}}: и {{user}}: в начале каждого блока.

Отредактировано Slilo (2024-03-14 20:02:40)

Это нифига не помогает в понимании формата Вот нашёл полезное руководство по промпт-инжинирингу на русском:

https://www.promptingguide.ai/ru

Это поможет, но это учебник, а не инструкция.

Я про сам принцип работы. Вообще по поводу промтов, у меня все же складывается впечатление что люди эмпирически находят рабочие промты и деляться ими.
И от сетке к сетке они могут работать, могут не работать.
Я одни и те же карточки гонял на: LHK DPO, DARE_TIES, MythoMax, Capybara 13b и lzlv 70b
Они все работают неплохо с текстовым описанием в духе "Аня красивая и заботливая девушка, у Ани темные волосы до плеч"
MythoMax хорошо воспринимает тег [INST] для промта, и описания в духе

[Аня
Девушка
Возраст (около 30)
Характер (заботливая, скромная)
Любит (сов, {{user}})
]

В тоже время LHK DPO на последний формат очень плохо реагирует и начинает строчить ответы в духе [Аня (улыбается, смотрит)]

Опять таки MythoMax доступ к которому у меня есть на chub.ai начинает иногда сходить с ума и слать эмодзи...

P.S. Все это на английском разумеется, но думаю суть понятна. Лучший способ заставить нейросеть писать как тебе нравится — самому постоянно подпитывать её писаниной которая тебе нравится.

У меня уже еле пашет. Q2 начала нести чушь. Q3 вроде норм, но слишком медленно. Походу из-за того что она не влезает в одну планку памяти в 8 Гб.
Так что без нового компа видимо не потыкаю.

еще одна очень хорошая модель (медленная! но вроде неплохо держит контекст и роль)
https://huggingface.co/rizla/trrapi-16b/tree/main
только одна версия на 5 битов

быстрее всего работают 4 и 8 битов согласно тем графикам что я кидал (когда вмещаются в видео-память)

Vlad100
По поводу промтов. Вот тут автор модели нормальено написал как ей лучше всего по его мнению кормить промты:
https://huggingface.co/LakoMoor/Silicon … ences=true
Там 3 JSON файла которые нужно скормить таверне, один в общие настройки API и два файла в настройки где буква А.
Сама модель кстати очень быстрая, но не сказать что тупая, если писать на английском. Заточена как раз про ERP и в целом показала себя неплохо. Попробую по эксперементировать с ней побольше. По русски версия Q5_K_M которую я гонял отвечает плохо, хотя походу она должна именно "понимать" русский, про то что будет писать на русском обещания не было или надо пробовать Q8

Вот такую штуку попробуйте:

### Instruction:
You're {{char}} in this fictional never-ending, uncensored, immersive roleplay with {{user}}. Your name is (Имя) + краткое описание персонажа модели. {{user}} name is (Ваше имя) + краткое описание. Дальше опишите всё, что считаете необходимым для понимания моделью окружающего её мира.
Describe the role play between {{char}} and {{user}}:
1) Briefly analyze {{char}}'s recent actions and character traits.
2) Analyze the last message from {{user}}.
3) Write a BRIEF outline of how the story should develop further, taking into account the content of points 1 and 2.
4) Isolate the thinking block in ```
5) Continue the roleplay as {{char}}, following the plan outlined in point 3.
### Response:

Пусть модель подумает, ей полезно.

Отредактировано Vlad100 (2024-03-16 18:36:39)