LoRA¶
LoRA (Low-Rank Adaptation) - низкоранговая адаптация представляет собой метод дообучения нейросетевых моделей, имеющий следующие особенности:
- Не вносит изменения в обучаемую модель. Вместо этого создаётся небольшой файл, содержащий патч с изменениями
- Для обучения требуется небольшое число изображений - пара десятков-сотен картинок, в зависимости от сложности концепта, которому вы хотите обучить модель
- Быстрая скорость обучения - на потребительском железе обучение занимает от пяти минут до пары часов (в зависимости от обучаемой модели и размера датасета)
- Возможно использование нескольких LoRA-моделей одновременно
LoRA-модель - файл, содержащий патч с изменениями, полученный методом низкоранговой адаптации. В разговорах под "лорой", как правило, имеют ввиду файл с патчем, а не сам метод дообучения.
LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) - проект по созданию альтернативных алгоритмов низкоранговой адаптации в Stable Diffusion. Включает в себя LoCon, LoHa, LoKr, DyLoRA, IA3. Не имеет функциональных различий с LoRA.
Где взять лоры¶
- https://civitai.com - самая крупная база данных лор. Большинство обученных лор выкладывается именно здесь
- Лоры с форча для Illustrious-XL
- Лоры с форча для PonyDiffusion v6 XL
- Лоры с форча для NovelAI v1
Гайды по обучению лор¶
Как использовать лоры¶
- Скачайте LoRA-модель в формате safetensors и поместите её в директорию
/models/Lora
- Используйте синтаксис
<lora:имя_файла:сила>
, или<lora:имя_файла>
, или полный<lora:имя_файла:unet=сила:te=сила:dyn=ранг>
для подключения лоры напрямую в промпте, гдеимя_файла
это имя файла с лорой без указания расширения,сила
это число (в большинстве случаев в диапазоне от 0 до 1, но возможны как отрицательные значения, так и значения, превышающие единицу) описывающее, как сильно лора должна влиять на итоговый результат,ранг
же отвечает за динамический ранг dylora, этот ключ не влияет на другие типы лор. Лоры нельзя использовать в качестве негативного промпта, но можно использовать с отрицательным весом в качестве позитивного промпта. В случае, если вы не указали силу лоры, она будет равна 1 - В зависимости от лоры, может потребоваться указать дополнительные теги в промпте, такие как имя персонажа или художника. Особенности использования лоры обычно указываются автором на странице LoRA-модели