Сети глубокого обучения можно использовать для плавного применения художественных стилей в фотографиях

Apple разрабатывает системы глубокого машинного обучения, которые могут плавно применять художественные стили к изображениям или последовательностям, снятым на IPhone, вероятно, в качестве будущей функции в фотографиях.

Технический гигант из Купертино и раньше подавал заявки на патенты в области машинного обучения, включая методы, применяемые к разрозненным системам, таким как данные GPS или анализ жестов в воздухе. Теперь, похоже, Apple занимается стилистическим редактированием.

В патенте, выданном Apple 29 сентября под названием «Регулировка ограничений временной согласованности стиля в реальном времени», компания описывает систему, которая может применять художественные стили, извлеченные из одного или нескольких изображений, к одному или нескольким целевым изображениям.

В патенте отмечается, что пользователи могут захотеть применить к изображениям или изображениям более сложные и технически сложные художественные стили. эффекты, выходящие за рамки простых фильтров, использующих машинное обучение для применения значения к каждому пикселю. в частности, Apple фокусируется на использовании искусственного интеллекта, чтобы «наполнить« сущностью »определенного художественного стиля» изображение или.

Однако этот тип обработки изображений невозможен на портативном устройстве в режиме реального времени из-за тепловых ограничений и ограничений обработки, а также ошибок в процессе передачи стиля. Чтобы исправить это, Apple описывает методы использования глубоких нейронных сетей (DNN) и других методов машинного обучения.

READ  SteelSeries представляет свои игровые гарнитуры в стиле Cyberpunk 2077

«Художественный стиль может быть применен к полученным изображениям и / или последовательности изображений с использованием различных методов оптимизации, таких как использование скаляров для управления разрешением нестилизованных и стилизованных изображений, ограничения временной согласованности, а также использование динамически регулируемые или выбираемые версии Deep Neural Networks (DNN), которые реагируют на параметры производительности системы, такие как доступные ресурсы обработки и тепловая мощность ». говорится в патенте.

В одном сценарии патент утверждает, что система может анализировать аппаратные и программные ограничения устройства, чтобы разумно определить, какие DNN следует использовать для стилизации изображения или последовательности изображений. Если со временем процесс передачи усложняется, система может плавно переключиться на другую версию DNN, чтобы продолжить процесс без каких-либо сбоев.

В качестве другого примера в патенте отмечается, что систему можно обучить обрабатывать определенный тип входного изображения независимо от других изображений в последовательности. При практическом использовании это может привести к появлению ползунка, который пользователи могут настроить для увеличения или уменьшения временной согласованности.

В патенте в качестве изобретателей указаны Франческо Росси и Бартломей В. Рымковски. Оба раньше работали над патентами Apple, хотя имели отношение только к схожему художественному стилю и глубоко нейтральным сетевым системам.

READ  Можно Ли Использовать Планшет Как Монитор

AppleInsider имеет партнерские отношения и может получать комиссию за продукты, приобретенные по партнерским ссылкам. Эти партнерские отношения не влияют на наш редакционный контент.

Источник