Чтож. Спешу напилить отзыв!
Вводные:
1. В идеале я хочу получить релеплейную игру в духе текстовых квестов, но чтобы можно было играть за тех за кого обычно не дают играть: за культистов/дроу/демонов Слаанеша/друхари и так далее. Я конечно понимаю что сама технология генеративных нейросетей плохо с таким справится, но все же дурацкая надежда у меня есть.
В идеале я хочу отвечать односложно, а чтобы дальше сетка генерила из моих односложных ответов события.
2. Я вот пару дней уже поразбирался с тем как там все устроено в мире Кобольдов и Таверн. Могу сказать что пока так толком и не понял, но уже немного разобрался как получить просто приятный, но не устраивающий меня результат.
То есть делалать выводы я буду из своих ожиданий и тех немногих знаний что у меня есть.
Что я попробовал:
Бесплатную JLLM (её параметры неизвестны, но она изначально нацелена на ролеплей и абсолютно бесплатна, может читать по русски, отвечать корректно на английском)
Платную 13b 8k MythoMax
Платную lzlv 70b (A Mythomax/MLewd_13B-style merge of selected 70B models. A multi-model merge of several LLaMA2 70B finetunes for roleplaying and creative work. )
И отзывы на нее очень хорошие.
Предложенную выше, nomiren472, LHK_DPO_v1_Q4_K_M и две её версии с точностью Q3
Предложенную, Vlad100, русскоязычную нейросетку
Из интерфейсов потыкал Кобольд Лайт, СиллиТаверн, интерфейсы от ChubAi и JanitorAI.
Карточки персонажей и даже описание своих персонажей я пробовал брать как чужие, так и сделал несколько своих.
Тестировал я все в основном отвечая нейросеткам односложно или используя функцию Impersonate, чтобы она составила ответ за меня.
Самый короткий вывод: nomiren472 во всем прав, читайте nomiren472 и делайте как он советует.
Все нейросетки которые я попробовал не умеют быть гейм-мастером, даже с качественной карточкой.В лучшем случае они разыграют описанную в карточке сцену и затем или пойдут по кругу или вообще потеряют контекст.
Задача игрока графоманить и держать нейросетку в контекте. Чем вы лучше выдавливаете из себя текст и в уме держите что там уже вышло за лимиты токенов (это слово или фраза которая описывает контекст для нейросетки), тем лучше выдает ответ нейросетка.
Если мощности и сама сетка вам позволяет создать карточку для сетки на 1к токенов + свою карточку на 500 токенов + еще загрузить лорбуку на 2к токенов — делайте это.
Изначально я подогнал свои 3 тестовых карточки под JLLM, они посредсвенно работали с MythoMax13b. Более менее адаптировал их, затем попробовал на lzlv, она их плохо прожевала.
Так что по сути пока ничего не могу сказать про lzlv аж на 70b для ролеплея. С ней придется разбираться отдельно.
Зато эти же карточки прекрасно завелись на LHK DPO v1, особенно на Q3. Вообще на текущий момент самый лучший результат я получил именно на них. На Q4 сеть работает медленно на моем i7 и результат больше графоманский был. Возможно я бы смог подтюнить настройки температуры и прочего чтобы получать качественный результат, но из-за медленности не вижу смысла возиться. Q3 же четко выполняла описанные в карточках условия, качественно снабжая подробностями, но не отступая от темы, пока уже не упиралась в количество контекста которое может осилить. Она прекрасно справляется на 20–30 сообщений по 340 токенов в каждом.
P.S. Все опробованные мною нейросетки работали совершенно по разному в одинаковых условиях даже LHK DPO Q3 и Q4 отличалась по поведению с одинаковыми настройками. Так что если у вас что-то не получается, попробуйте или другую сетку или более внимательно взаимодействуйте с вашей. Настроек очень много на стороне таверны + важно уметь писать в том стиле с которым нейросеть умеет работать. Очень много зависит о того как вы написали карточку.
P.P.S. romlevudri, эта русскоязычная нейросетка или совсем ужасна или к ней нужен какой-то особый подход. Она уменя или выдавливала из себя односложные предложения или начинала спамить всякой фигней. Такое же кстати иногда выдает MythoMax13b, но она начинает генерировать эмодзи, а не слова.
Отредактировано Slilo (2024-03-10 10:33:08)
Вот нашёл полезное руководство по промпт-инжинирингу на русском:
