Перейти к содержанию

LoRA

LoRA (Low-Rank Adaptation) - низкоранговая адаптация представляет собой метод дообучения нейросетевых моделей, имеющий следующие особенности:

  • Не вносит изменения в обучаемую модель. Вместо этого создаётся небольшой файл, содержащий патч с изменениями
  • Для обучения требуется небольшое число изображений - пара десятков-сотен картинок, в зависимости от сложности концепта, которому вы хотите обучить модель
  • Быстрая скорость обучения - на потребительском железе обучение занимает от пяти минут до пары часов (в зависимости от обучаемой модели и размера датасета)
  • Возможно использование нескольких LoRA-моделей одновременно

LoRA-модель - файл, содержащий патч с изменениями, полученный методом низкоранговой адаптации. В разговорах под "лорой", как правило, имеют ввиду файл с патчем, а не сам метод дообучения.

LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) - проект по созданию альтернативных алгоритмов низкоранговой адаптации в Stable Diffusion. Включает в себя LoCon, LoHa, LoKr, DyLoRA, IA3. Не имеет функциональных различий с LoRA.

Где взять лоры

Гайды по обучению лор

Как использовать лоры

  1. Скачайте LoRA-модель в формате safetensors и поместите её в директорию /models/Lora
  2. Используйте синтаксис <lora:имя_файла:сила>, или <lora:имя_файла>, или полный <lora:имя_файла:unet=сила:te=сила:dyn=ранг> для подключения лоры напрямую в промпте, где имя_файла это имя файла с лорой без указания расширения, сила это число (в большинстве случаев в диапазоне от 0 до 1, но возможны как отрицательные значения, так и значения, превышающие единицу) описывающее, как сильно лора должна влиять на итоговый результат, ранг же отвечает за динамический ранг dylora, этот ключ не влияет на другие типы лор. Лоры нельзя использовать в качестве негативного промпта, но можно использовать с отрицательным весом в качестве позитивного промпта. В случае, если вы не указали силу лоры, она будет равна 1
  3. В зависимости от лоры, может потребоваться указать дополнительные теги в промпте, такие как имя персонажа или художника. Особенности использования лоры обычно указываются автором на странице LoRA-модели