Google объяснила, как работает «космический режим» в Pixel 4
Одной из фишек флагманского смартфона Google Pixel 4 стал специальный режим астрофотографии, доступный в штатном приложении «Камера». Компания рассказала, как именно работает алгоритм и благодаря чему владельцы устройства могут получить детализированные и реалистичные снимки звёздного неба.
Представители Google отметили, что максимальное время выдержки в режиме астрофотографии на Pixel 4 составляет четыре минуты. Для сравнения, у моделей Pixel 3 и Pixel 3a этот показатель не превышает одной минуты. Учитывая продолжительность времени, в течение которого свет попадает на матрицу камеры, есть риск размытия фотографии — но Google нашла способ решить эту проблему.
«Пользователи могут смириться с размытием облаков или деревьев на обычных снимках, но размытие во время съёмки звёзд будет выглядеть как световые полосы. Мы разделили экспозицию на кадры с достаточно короткой выдержкой и, таким образом, сумели добиться отображения звёзд в виде точечных источников свет», — отмечают разработчики.
Выявленное в ходе разработки софта идеальное время экспозиции для каждого кадра при съёмке ночного неба составило 16 секунд. После съёмки всех 15 кадров алгоритм «склеивает» их в единую четырёхминутную экспозицию для получения оптимального качества снимка.
Из проблем, с которыми пришлось столкнуться инженерам компании, Google отмечает появление отдельных пикселей. На готовой фотографии они выглядят как неестественные блики. Во время постобработки камера Pixel 4 сравнивает значения соседних пикселей и блокирует засветы, заменяя их аналогичным по палитре содержимым соседних пикселей.
«При низких уровнях освещённости, особенно в момент, когда отсутствует лунный свет, снимать звёзды и пейзаж крайне проблематично. Частота обновления на уровне 15 раз в секунду не решает данную проблему, поэтому мы построили алгоритм таким образом, чтобы отображать последний снятый кадр в режиме астрофотографии», — рассказали представители Google.
Регулировку композиции можно осуществлять прямо во время съёмки. При этом первый снимок может быть отложен, а второй — выбран в качестве ключевого для применения ракурса к новой серии фотографий.
Ещё одной проблемой, которую необходимо было решить разработчикам при создании режима астрофотографии, стала работа автофокуса — при слабом освещении электронике сложно определить точку фокусировки. Чтобы справиться с этой задачей, смартфон делает два кадра, после чего анализирует объекты, на которых необходимо сфокусироваться. При этом ни одно из «пробных» изображений не попадает в финальную выборку.
Финальной задачей инженеров была корректная оценка уровня освещённости ночного неба. Для подсчёта правильной температуры света Google использовала технологии машинного обучения. Предварительно компания натренировала нейронную сеть, предоставив её для анализа около 10 тысяч изображений ночного неба. В результате искусственный интеллект научился самостоятельно определять подходящую цветовую температуру для каждой фотографии, позволяя ночному небу выглядеть естественным.
Источник: