Приложение для виртуальной примерки макияжа
Разработали приложение для виртуальной примерки макияжа с интеграцией интернет-магазина.
Клиент
Занимается декоративной косметикой, имеет сеть офлайн-точек в шести крупных городах. Запустил собственный интернет-магазин, после чего задумался об увеличении дохода с помощью мобильного приложения.
Речь шла не о стандартном m-commerce. Это должно быть приложение для виртуальной примерки макияжа со ссылками на товары из онлайн-магазина. Сама идея цифрового макияжа существовала на тот момент давно, но как инструмент прямых продаж такие решения почти не использовались.
Задача требовала не просто интерфейсного решения, а точной работы с изображением и персонализированными рекомендациями. Для этого мы использовали подходы из области компьютерного зрения и машинного обучения.
На момент старта проекта подобные решения только начинали появляться на рынке, и готовых инструментов под задачу клиента не существовало.
Вызовы
Между фоторедактором и приложением для примерки макияжа существенная разница. Задача фоторедактора – изменить изображение, приукрасить его и выдать картинку, которая зачастую не имеет ничего общего с реальным положением вещей.
Задача бьюти-приложения, с которой пришел клиент, – не создать иллюзию, а сделать так, чтобы пользовательницы получили точное представление о том, какой оттенок помады или румян им подойдет и где их получить.
Ведь чем точнее рекомендация, тем выше вероятность, что покупка будет совершена, а пользовательница вернется снова.
Реалистичность
Приложение по примерке и подбору мейкапа – это не набор абстрактных фильтров для соцсетей. Его отличительная черта – достоверность. Мы не можем просто генерировать маски с тенями и румянами, оторванные от повседневной действительности.
Масштабность проекта
Чтобы все работало так, как задумал клиент, требовалось:
• Создать ядро системы с моделью распознавания лица и разделения его на зоны.
• Реализовать алгоритм изменения цвета без потери текстуры объекта.
• Связать приложение с интернет-магазином: группами продуктов и палитрой оттенков для каждого.
Как работает приложение для цифрового макияжа:
1. Пользовательница делает селфи
Или загружает фото из галереи. Выбирает в приложении нужный раздел: лицо, губы, глаза.
2. Алгоритм получает изображение и анализирует его
– Определяет границы лица и ключевые точки.
На этом этапе используется многомасштабная сверточная нейронная сеть (MCNN), реализованная с помощью платформы глубокого обучения Caffe. MCNN хорошо подходит для задач на распознавание образов. Она определяет, что на фотографии именно лицо, и выстраивает пять базовых точек.
– Делает расчет 3D-модели.
С помощью моделей, реализованных на базе Caffe, алгоритм формирует первичную разметку для точного определения границ лица и его зон. Проводит сегментацию – первичную оценку зон.
– Уточняет маски полученных сегментов.
Уточняющие алгоритмы основаны на анализе цветов разных участков одной зоны, а также геометрической форме и положении частей лица. В качестве исходного ориентира используются 11 сегментов.
3. Приложение реалистично имитирует настоящий макияж
– Для этого шага реализовали Python-модуль, который работает с выделенной частью изображения.
– В основе лежит модель дихроматического отражения (DRM), которая позволяет учитывать влияние освещения и собственный цвет кожи. За счет этого изменения оттенков выглядят естественно и не разрушают текстуру изображения.
– Как результат – цвет объекта изменяется естественным образом и имеет натуралистичный вид.
4. Что видит пользовательница
– В разделах приложения уже собраны свотчи для каждого продукта (передаются через API-запросы, чтобы поддерживать актуальное состояние). Пользовательница примеряет оттенки, пока не найдет нужный. Эффекты и текстуры – от атласных до матовых – выглядят как при реальном нанесении.
– Предусмотрена функция автоматического подбора образа. Приложение предложит несколько выгодных сочетаний на основе цветотипа, геометрии лица и особенностей строения.
– Во вкладке рекомендаций есть готовая коллекция образов, созданная командой бренда. Их остается только примерить.
– Виртуальные образы сохраняются в приложении – их можно сравнивать и выбирать наиболее удачные варианты.
– К каждому продукту прилагается описание и ссылка на корзину для оформления покупки.
Технологии
Бэкенд
Python
Бэкенд
C++
Анализ данных
Matlab
iOS
Swift
Android
Kotlin
Результат
Благодаря внедрению ИИ мы добились высокоточного распознавания черт лица и сохранили реалистичность текстур. Интеграция с косметическим брендом напрямую позволила клиенту сократить количество пользовательских шагов до покупки.
Приложение позволило увеличить вовлеченность пользователей и сократить путь до покупки.
Решение дало эффект сразу в нескольких направлениях:
- Привлекает новых пользовательниц и формирует отложенный спрос. Даже если приложение установлено из чистого любопытства, есть большая вероятность, что позже пользовательница вернется к нему и оформит покупку.
- Приложение оказалось востребовано не только среди конечных покупателей, но и среди профессионалов индустрии: визажистов, бьюти-мастеров и салонов.
установок приложения за все время.
увеличилось число продаж в интернет-магазине.
Разработанный подход можно адаптировать для других задач, где важна реалистичная работа с изображением – например, в fashion-ритейле или подборе аксессуаров.
Что происходит дальше:
Мы получаем запрос, обрабатываем его в течение 24 часов и связываемся по указанным вами e‑mail или телефону для уточнения деталей.
Подключаем аналитиков и разработчиков. Совместно они составляют проектное предложение с указанием объемов работ, сроков, стоимости и размера команды.
Договариваемся с вами о следующей встрече, чтобы согласовать предложение.
Когда все детали улажены, мы подписываем договор и сразу же приступаем к работе.