поставил себе винду 10 поигрался с ней в общем пришел к выводу что lowvram параметр использовать совсем нельзя
надо без него и надо смотреть подбирать число слоев на видяхе и вне ее
когда удачное число слоев что на нагрузке цпу и гпу получается такая расческа из нагрузки и хорошо молотит
при этом если дать буквально на 1-2 слоя больше сильно проваливается скорость внизразница может быть увроня 8-9 токенов против 2-3 токена в секунду!
проверяйте и подбирайте под себя число слоев
две новые умные модели из топов
https://huggingface.co/models?search=Starling-LM-7B-beta gguf - эта в топе
https://huggingface.co/mradermacher/Mis … ences=true - это совсем свежий микс на базе предыдущей пока не в топе