Что такое LoRA (Low-Rank Adaptation)

Вы можете “дообучить” нейросеть на фотографиях человека, и она сможет генерировать изображения именно с этим человеком.

LoRA — это метод дообучения нейросетей, который делает процесс максимально экономичным. Вместо того чтобы изменять всю модель, LoRA добавляет небольшие вспомогательные "слои" (или матрицы), которые встраиваются в уже существующую модель.

Как обучить свою LoRA

1. Запустите Телеграм-бот UniversusGPT @universus_neuro_bot
2. Выберите команду /lora
3. Загрузите в бот от 5 до 10 фотографий:
   1. На них должен быть только сам объект, минимум фонового шума или других объектов.
   2. Чем размер и качество выше - тем лучше
   3. Фотографии должны быть цветными, высококачественными, и ничего не должно закрывать лицо.

Обучение модели займет около 20 минут. После завершения вы получите уведомление в боте и сможете использовать вашу LoRA.

Как генерировать изображения со своей LoRA

После обучения модели:

1. Вызовите команду /imagine для генерации изображений
2. Нажмите на кнопку “Сменить модель” и выберите “LoRa 1”
3. Задайте промпт для генерации

Как обучить несколько LoRA

Вы всегда можете запустить повторно команду /lora и прислать новые изображения. Тогда у вас в меню выбора моделей появится LoRA 2.

Если вы запустите снова /lora и обучите еще одну модель, то появится LoRA 3 и т.д.

Как писать промпты

Указывайте ключевое слово на английском “TOK”. При генерации изображения с помощью LoRA нейросеть может “догадаться”, что в вашем промпте вы просите сгенерировать именно тот объект, на котором она обучилась. Но лучше явно указывайте TOK.

LoRA может рисовать изображения любого пола, поэтому лучше указывайте, какого пола “TOK”

Придерживайтесь правил создания промптов в статье: Генерация изображений

Примеры изображений LoRA

Женщина с лицом TOK на фоне Эйфелевой башни

Женщина TOK пьет кофе в кафе, рядом сидит Дарт Вейдер

TOK как Wonder Woman

headshot photo of TOK in mars, ultra realistic, ultra details, octane render, 32k raw