Когда Google представил Night Sight на Pixel 3, это стало откровением.

Это было похоже на то, как будто кто-то буквально включил свет на ваших фотографиях при слабом освещении. Ранее невозможные снимки стали возможными: не требуется штатив или вспышки «олень в свете фар».

Пять лет спустя фотографирование в темноте уже устарело: почти каждый телефон, в любом ценовом диапазоне, имеет какой-то ночной режим. Однако видео — это совсем другая история. Ночные режимы для фотографий захватывают несколько кадров для создания более яркого изображения, и просто невозможно скопировать и вставить механизм этой функции в видео, которое по своей природе является Уже серия изображений. Ответ, как это кажется в последнее время, заключается в привлечении ИИ.

Когда этой осенью был выпущен Pixel 8 Pro, Google анонсировал функцию Video Boost with Night Sight, которая появится в будущем обновлении программного обеспечения. Он использует искусственный интеллект для обработки ваших видео, выделяя больше деталей и улучшая цвета, что особенно полезно для клипов со слабым освещением. Есть только одна проблема: эта обработка происходит в облаке на серверах Google, а не на вашем телефоне.

Как и было обещано, Video Boost начал появляться на устройствах несколько недель назад с декабрьским обновлением Pixel, включая мой обзорный блок Pixel 8 Pro. И это хорошо! Но это не тот переломный момент, каким был оригинальный Night Sight. Это показывает, насколько впечатляющим был Night Sight, когда он дебютировал, а также особые проблемы, которые видео представляет для системы камер смартфона.

Video Boost работает следующим образом: прежде всего вам понадобится Pixel 8. Про, а не обычный Pixel 8 – Google не ответил на мой вопрос, почему. Вы включаете его в настройках камеры, когда хотите его использовать, а затем начинаете записывать видео. Когда вы закончите, видео должно быть сохранено в вашей учетной записи Google Фото автоматически или вручную. Тогда подожди. И ждать. А в некоторых случаях подождите: Video Boost работает с видео продолжительностью до десяти минут, но обработка даже клипа продолжительностью всего несколько минут может занять несколько часов.

ЧИТАТЬ   В Европе была проведена первая хирургическая операция с помощью Apple Vision Pro

В зависимости от типа видео, которое вы записываете, это ожидание может того стоить, а может и не стоить. Документация службы поддержки Google утверждает, что он создан для того, чтобы вы могли «снимать видео на свой телефон Pixel в более высоком качестве, с лучшим освещением, лучшими цветами и лучшей детализацией», независимо от освещения. Но основной Video Boost предлагает лучшее видео при слабом освещении — вот что мне говорит менеджер по продукту группы Исаак Рейнольдс. «Подумайте о Night Sight Video, потому что все изменения в других алгоритмах нацелены на Night Sight».

Все процессы, благодаря которым наши видео выглядят лучше при хорошем освещении (стабилизация, тональная компрессия), перестают работать, когда вы пытаетесь записать видео в условиях очень низкой освещенности. Рейнольдс объясняет, что даже добрый размытие, которое вы получаете в видео при слабом освещении, другое. «ОИС [optical image stabilization] может стабилизировать раму, но только определенной длины. Для видео при слабом освещении требуются более длинные кадры, что создает серьезные проблемы со стабилизацией. «Когда вы начинаете идти при слабом освещении и с такими длинными кадрами, вы можете получить определенный тип внутрикадрового размытия, которое является лишь остатком, который может компенсировать OIS». Другими словами, это чертовски сложно.

Все это помогает объяснить то, что я вижу в своих собственных клипах Video Boost. При хорошем освещении особой разницы не вижу. Некоторые цвета выделяются немного больше, но я не вижу ничего, что потребовало бы от меня регулярного использования при достаточном освещении. В очень сильно При слабом освещении Video Boost может восстановить цвета и детали, полностью потерянные в стандартном видеоклипе. Но это не так существенно, как разница между обычной фотографией и фотографией ночного видения в тех же условиях.

ЧИТАТЬ   Что вы думаете об Илоне Маске? Россиянину чипировали мозг дома по инструкции YouTube

Однако между этими крайностями есть золотая середина, где я вижу, что Video Boost действительно полезен. В клипе, где я иду по дорожке в сумерках в темной беседке. жилье Кобе Белл, после Boost наблюдается заметное улучшение детализации теней и стабилизации. Чем больше я использовал Video Boost при среднем или слабом освещении в помещении, тем больше я видел преимущества. Вы начинаете видеть, как стандартные видео выглядят размытыми в таких условиях – как мой сын играет с грузовиками на полу столовой. Включение Video Boost вернуло некоторую яркость, о которой я забыл.

Video Boost ограничен основной задней камерой Pixel 8 Pro и записывает в разрешении 4K (по умолчанию) или 1080p со скоростью 30 кадров в секунду. Использование Video Boost создает два клипа: первый файл «предварительного просмотра», который не был увеличен и сразу же доступен для совместного использования, и, при необходимости, второй «увеличенный» файл. Но под капотом происходит гораздо больше.

Рейнольдс объяснил мне, что Video Boost использует совершенно другой конвейер обработки, который сохраняет гораздо больше данных захваченного изображения, которые обычно отбрасываются при сохранении стандартного видеофайла – во многом аналогично взаимосвязи между файлами RAW и JPEG. Временный файл хранит эту информацию на вашем устройстве до тех пор, пока она не будет отправлена ​​в облако; после этого он удаляется. Это хорошо, потому что временные файлы могут быть большими: несколько гигабайт для более длинных клипов. Однако окончательные увеличенные видео имеют гораздо более разумный размер: 513 МБ для трехминутного клипа, который я записал, против 6 ГБ для временного файла.

Моя первая реакция на Video Boost заключалась в том, что это казалось временным решением: демонстрацией функции чего-то, для работы чего требуется облако прямо сейчас, но которое будет перенесено на устройство в будущем. Осенью Qualcomm представила версию чего-то подобного для устройств, так что это, должно быть, конец игры, верно? Рейнольдс говорит, что он смотрит на вещи иначе. «То, что вы можете делать в облаке, всегда будет более впечатляющим, чем то, что вы можете делать на телефоне. »

ЧИТАТЬ   В этот комплект для разработчиков игр со скидкой входит месячный абонемент Xbox Game Pass.

Разница между тем, что может делать ваш телефон, и тем, что может делать облачный сервер, отойдет на второй план.

Показательный пример: он говорит, что сейчас на телефонах Pixel используются различные уменьшенные оптимизированные версии модели Google HDR Plus. Но полноценная «родительская» модель HDR Plus, которую Google разработала за последнее десятилетие для своих телефонов Pixel, слишком велика, чтобы реалистично работать на любом телефоне. А возможности искусственного интеллекта на устройствах со временем улучшатся, так что вполне вероятно, что немного вещи, которые можно было сделать только в облаке, будут перенесены на наши устройства. Но возможности облака также изменятся. Рейнольдс говорит, что рассматривает облако как «еще один компонент» возможностей Tensor.

В этом смысле Video Boost Восток Взгляд в будущее: это просто будущее, в котором ИИ в вашем телефоне работает рука об руку с ИИ в облаке. Больше функций будет выполняться за счет комбинации искусственного интеллекта на устройстве и за его пределами, а различие между тем, что может делать ваш телефон, и тем, что может делать облачный сервер, отойдет на второй план. Это не совсем тот момент «ага», каким был Night Sight, но это все равно будет существенным сдвигом в том, как мы воспринимаем возможности нашего телефона.

Source

От admin