navigator_dan написал(а):Галлюцинации ИИ - интересное свойство. Если нужна точность, они раздражают и могут быть вредны. Если нужно творчество, то, возможно, они могут быть полезны.
Вероятно, со временем, добиться галлюцинаций будет всё сложнее.
Когда ChatGPT только появился, я намеренно "издевался", например, вводя в запрос вымышленный инцидент или персону и далее заставляя модель изучать подробности того, чего или кого никогда не существовало. Через несколько недель это уже не работало. В какой-то момент я получил ответ, что Grzegorz Brzęczyszczykiewicz, биографию которого мы недавно вместе с моделью дотошно "изучали" вместе, не являлся исторической персоной. Ну, наконец-то дошло
Ну когда это происходи намеренно - с этим проблем нет.
Но, как правило, это происходит непреднамеренно, если ты долго разгоняешь какую-то тему, и часть контекста теряется (ты об этом не знаешь, очевидно), и задавая какой-то вопрос о теме которая обсуждалась раньше - LLM начинает бредить и галлюцинировать.
И это происходит из-за того, что ему нужно как-то отреагировать на твой запрос, но, поскольку он не помнит контекста, он начинает выдумывать какие-то вещи, основываясь на своих "знаниях", и поскольку, эти "знания" у LLMов не однородны, и один запрос может иметь множество ответов, и в этом случае, LLM сам что-то додумывает и добавляет это в контекст.
Естественно, это не единственный "непреднамеренный" способ, заставить LLM бредить, но, это мне часто встречалось.
Кстати, не соглашусь по поводу keep it simple, stupid - Т.к. чем больше контекста предоставлено, тем точнее будет результат, т.к. это машина как-никак, она интерпретирует запросы буквально.
И если ты что-то "упустил", посчитав это "очевидным" (по твоему мнению) - LLM вряд-ли посчитает это "очевидным" и будет работать в тех рамках, которые ты сам ему задал.
Поэтому, запросы всегда должны формулироваться очень чётко и с учётом всех основных факторов, либо уточняться в процессе, если ты видишь, что LLM побрёл в "неправильном" направлении.
Точнее так - LLM пошел в "правильном" направлении, чётко в рамках твоего запроса, но он просто не учёл тех факторов, которые для тебя были "очевидны", либо тех, которые ты забыл уточнить изначально.
И это я осознал только недавно - если LLM начинает бредить, и тулить тебе то, что тебе совсем не надо - значит он тебя неправильно понял, если он раз за разом, выдаёт какую-то хрень, которая ну совсем не соответствует твоему изначальному запросу - это означает, что нужно полностью переформулировать изначальный запрос и попросить у него разбивку по твоим инструкциям, чтоб проверить, действительно-ли он всё правильно понял.
--------------------------------------------------
Кстати, хотел немного уточнить свою позицию по поводу "генераторов историй" и "генераторов эротического контента", и почему, я считаю их несостоятельными. (В частности, для использования подобных тестов в играх).
Сами по себе - такие модели имеют право на существование, т.е. если тебе нужно по-РПшить, с такой нейронкой можно немного поиграть, но не более.
Но вот для генерации "последовательного" конетента - они совершенно не годятся, т.к. как было сказано уже неоднократно, они ограничены контекстом, в некоторых случаях (в зависимости от моделей и средств запуска), ты можешь задать какие-то "константы" и они будут учитываться, но ты не сможешь заставить LLM быть последовательным даже в интерпретации этих "констант", что уж говорить об истории или событии, которые LLM генерирует.
Далее, поскольку мы не можем добиться последовательности, они уже становятся практически бесполезными на "долгой дистанции", т.к. если ты делаешь игру или пишешь историю - тебе нужна последовательность в характерах персонажей и в логике их действий, чего LLM тебе не может гарантировать.
Так-же, как я уже говорил раньше - LLMы не способны генерировать "интересные" тексты, т.к. они не способных говорить "нет" и неспособны "удивлять" (по крайней мере текущие поколение подобных LLMов), они будут монотонно описывать сцену пичкая её кучей ненужных деталей.
Поначалу - это забавно, но, через какое-то время - это надоедает, и причин этому множество, часть я уже описал, часть субъективны, другая часть на уровне "чувств".
Но факт остаётся фактом, люди плохо воспринимают такие текста, прецеденты уже были, выкладывались на F95, и все они провалились.
И всё это работает на уровне восприятия, ты даже можешь не понимать что именно тебе в тексте не нравится, он тебе просто не нравится.
Это как с AI-артами, они наглядно показывают "фальшь", которую продуцируют такие LLMы.
Эта "фальшь" есть и в текстах, даже если ты её не видишь, ты её будешь ощущать, текст будет казаться не аутентичным.
Как я говорил выше - когда человек пишет свои тексты, он основывается на своих знаниях, своём восприятии и своём опыте, его знания могут быть неточными, его восприятие может быть "искажено", его опыт может быть скудным - но всё это, вкупе, выльется в "уникальный" и "аутентичный" текст.
Прочитав такой текст, человек может ужаснуться или восхитится, а может остаться равнодушным - но это будет "уникальный" опыт.
LLMы-же не способны предоставить такой "уникальный" опыт (на данном этапе), т.к. у них нет собственных знаний, опыта и восприятия, они не подвержены эмоциям и иррациональному поведению - а именно это и привлекает людей в любых историях, конфликт, эмоции, страсть... (И всё это, в правильной последовательности)
Именно поэтому, я и считаю, что на данном этапе, LLMы бесполезны для подобных задач - в лучшем случае, они могут дать тебе "вдохновение" или "подкинуть идею", но не сделать "работу за тебя".
Отредактировано LostEternity (2025-01-18 09:18:59)
