Камеры в мобильных телефонах – HDR, нейросети и 4, 5, 6 объективов

Привет.

Развитие смартфонов подошло к точке, когда стало невозможным улучшать качество фотографий без коренного изменения подхода к восприятию самой фотографии. Пионером и компанией, что дала старт гонке развития камер в мобильных устройствах, стал вовсе не первый Symbian-смартфон от Nokia, а именно Nokia 7650.

Посмотрите на фотографии, сделанные на Nokia 7650, причем на экране самого аппарата. Думаю, это добавит понимания того, как это было в начале 2002 года, когда в мои руки попал этот аппарат.

Это смартфон с VGA-камерой казался диковинкой, а многие обсуждали возможность телефонов снимать хотя бы чуть хуже обычных мыльниц. В конце 2001 года перспектива того, что телефоны научатся снимать красиво, казалось весьма отдаленной. Но прошло четыре года, и в Sony Ericsson выводят на рынок модель K750i, которая начинает новую эру, мобильные устройства постепенно убивают рынок цифровых мыльниц, а число тех, кто фотографирует, ежегодно растет в геометрической прогрессии.

Десять лет назад снимок с K750i, по качеству сходный с приведенным ниже, казался пределом мечтаний, теперь он даже не на уровне бюджетных смартфонов за пару тысяч рублей.

В те годы закладывается стандарт того, как производители оценивают качество фотографий, стандарты перенимают с рынка обычных камер. Тестовые таблицы, измерение ISO, борьба с шумами и другие приемы, которые вначале кажутся детской игрой, слишком разительно отличаются мобильные камеры от больших собратьев. Нет никакой возможности разместить полноценную оптику, объективы остаются слабым местом, и все исследования показывают, что прорыва в этой области ждать не приходится. Десятки лет на рынке обычных камер искали способ удешевить объективы, сделать их легче и меньше, но решить вопрос так и не удалось. Преимущество мобильной индустрии в том, что тут много игроков и большие бюджеты, конкуренция как нигде высока. В результате классическая технология производства оптики доводится до совершенства, из “стекол” выжимают максимум возможного. И тут выясняется, что мобильные умеют фотографировать, да так, что люди, не следящие пристально за рынком, постоянно начинают спрашивать в социальных сетях, на что сделана та или иная фотография.

На компьютере такие фотографии выглядят не так выигрышно, как на экранах мобильных устройств, но люди постоянно воткнуты в небольшие экраны, это основной источник информации. И тут нет сомнений, камеры совершили гигантский скачок, они теперь настолько хороши, что многие не пользуются отдельной фотокамерой в поездках, фотографируют все на телефон. Вот у вас есть отдельная камера? Или достаточно той, что в телефоне?

Смерть классического подхода – вычисления как будущее фотографии

Увы, но классический подход, в котором во главу угла ставили реалистичность фотографии, ушел в прошлое. С развитием HDR, то есть расширенного динамического диапазона, производители отказываются от реалистичности в пользу художественности снимка. Первоначально HDR появился как ответ на сложные условия съемки, когда в кадре есть яркое солнце и тень, фактически это склейка из нескольких снимков, сделанных с различной выдержкой (как вариант, брекетинг с неким шагом экспозиции). Кто-то склеивал такие снимки вручную, кто-то доверял это графическим пакетам на компьютере. Но рост производительности мобильных устройств позволил со временем решать эту задачу на месте, то есть склеивать снимки в реальном времени.

Все больше и больше людей отказывались от естественной фотографии в пользу HDR и снимков с различными эффектами, это самый простой и действенный способ украсить действительность, и этот способ нравится большинству. Для производителей это означало то, что появилась потребность в различных эффектах и возможности украшать фотографии по умолчанию, делать их такими, как того ожидают пользователи. Китайские производители в этом направлении продвинулись больше других, “улучшения”, которые они вводили, в том числе для людей, быстро позволили убирать шероховатости внешности (толщину щек, цвет кожи, рихтовать поверхность и многое другое). В Азии началась волна продаж телефонов, что умели менять внешность лучше, чем другие. Но это были цветочки до появления линейки Pixel от Google, которую многие хвалят за камеру. Посмотрите, как снимает Pixel 3XL, который скоро объявят.

В Google известны тем, что плохо умеют работать с железом, но хорошо умеют создавать алгоритмы. И линейка Pixel тому наглядное подтверждение, так как Google изменила подход к фотографии и сделала это изящно.

Если у вас есть довольно средняя камера, но хочется добиться отличного восприятия снимков, что нужно сделать? В логике классических производителей железа путь один – сменить поставщика модуля камеры и изменить софт, который обрабатывает, улучшает снимки. В логике Google было неважно, какая камера, важнее то, какой софт отвечает за обработку. Компания первой массово стала использовать алгоритмы обработки снимков, что пришли из Google Фото (мало кто помнит предыдущее название этого приложения, и я не буду напоминать, перекличка старичков в комментариях, как обычно). Фактически в Google использовали улучшенный вариант HDR, который отличался от классического несколькими возможностями:

• Быстрый алгоритм анализа снимков;
• Возможность камеры телефона сделать несколько снимков за доли секунды с разной выдержкой;
• Выбор лучших областей снимка и последующее использование в итоговом снимке;
• Склейка снимка из 3-4 кадров, сглаживание резкости и легкое размытие фона.

По большому счету, в Google придумали своего рода HDR с дополнительными эффектами, хотя корректнее сказать, что не придумали, а реализовали в серийном продукте. И если для обычных снимков на основную камеру это не давало ошеломляющего эффекта, то для фронтальной камеры дало вау-восприятие, снимки получались необычными и очень четкими (фактически это режим “Портрет”, который затем запустили в том или ином виде все компании).

Вычисления становятся основой для мобильной фотографии, и сегодня все производители используют тот или иной вариант HDR и алгоритмы обработки, чтобы улучшить снимки и обойти физические ограничения камер. Современный софт склеивает снимки из нескольких, так работает Smart HDR на последнем поколение iPhone, аналогично поступают камеры в Huawei/Honor в режиме AI.

Получить вот такие снимки без склейки нескольких кадров невозможно.

Быстродействие становится необходимым для того, чтобы смартфон мог не только сделать несколько снимков, но и склеить их в итоговый за считанные секунды, никто не хочет ждать, пока телефон обработает их в фоновом режиме. Поэтому чем быстрее память и процессор, тем лучше для таких вычислений. Но и улучшение камер идет по направлению добавления собственной быстрой памяти в модуль камеры, чтобы максимально улучшать их возможности. Тем более это востребовано при записи SloMo, которая стала своего рода приятной добавкой во флагманах последних лет.

На контрасте интересно восприятие “натуральности” снимков от пользователей. Обычно производители дают возможность выбора между разными режимами, вы можете выбрать ту картинку, что получает камера без улучшений, читай, склейки. А можете включить умный режим HDR (кто-то его называет AI) и наслаждаться другим качеством снимков. Особенно хорошо это видно на примере Huawei P20 Pro и ночной съемки, фотографии получаются необыкновенными, и не верится, что это мобильный телефон.

В новом поколении iPhone XS/XS Max фронтальная камера получила все “улучшения” по умолчанию, ушла та естественность, что была на камерах предыдущих iPhone. Это подметили пользователи и стали ратовать за то, чтобы им дали возможность выбрать, как они хотят себя видеть – естественно или с улучшениями. На мой взгляд, в Apple рано или поздно добавят переключатели для улучшалок, но сам алгоритм теперь всегда будет с той или иной склейкой. Большим достижением индустрии в будущем станет момент, когда телефон локально, без обращения к сетевым базам, сможет восстанавливать картинку, используя те или иные алгоритмы, то есть фактически дорисовывать ее в высоком качестве. Исходная фотография при таком подходе будет эскизом, не более того. Это путь, по которому идет Google, они продвинулись достаточно далеко, но им уже на пятки наступает Huawei, которая вложила недюжинные усилия в это направление.

Будущее любой фотографии – в алгоритмах обработки снимков. У меня есть плохая новость для любителей естественности, она больше не в моде и уходит в прошлое. То, что будет считаться “естественным” через десять лет, сегодня воспринимается как нечто, искажающее представление о реальности. Не знаю, как вы, но я, периодически встречая новых людей и зная их только по фотографиям в социальных сетях, не могу сопоставить их снимки с живыми людьми. Более того, несколько моих приятельниц, что работают в модельном бизнесе, совсем другие люди в жизни, нежели на снимках. Профессиональная фотография в этой области и вовсе взяла своим девизом “изменю любую до неузнаваемости, сделаю красотку из любой”. И им это уже удается, так как для этого требуются вполне обыденные инструменты.

Зачем нужны 3, 4, 5 или больше камер?

Отлично, производители осваивают умные алгоритмы изменения снимков, но зачем тогда они же начинают выпускать смартфоны с тремя, четырьмя или даже большим числом основных камер?

Ответ следует искать все в том же ограничении, которое возникло изначально для камер в мобильных телефонах, – физику невозможно обмануть, а в тонких корпусах нельзя разместить универсальные объективы. Поэтому производители добавляют широкоугольные камеры, линзы с оптическим увеличением и другие варианты объективов, они расширяют возможности устройств. Но экономика остается основным ограничением, разместить два одинаковых модуля со сравнимыми характеристиками очень дорого, поэтому основная камера всегда лучше, а вот дополнительные, предназначенные для тех или иных режимов, попроще. Частично выправляет ситуацию софт, который может суммировать снимки с разных камер, но он не может исправить все недостатки железа. Мы увидим расцвет моделей среднего сегмента с тремя или четырьмя основными камерами, фронтальные камеры станут двойными. Но в конечном итоге флагманы 2019 года будут с тремя основными и двумя фронтальными камерами. Вряд ли мы увидим что-то другое и в 2020 году, это золотая середина.

Как минимум на 5-7 лет этих направлений развития для индустрии хватит, игра будет идти вокруг железа и количества камер, а также вокруг софта для них и алгоритмов обработки. Следующий большой шаг, который может случиться, это удвоение одинаковых модулей и софт для обработки снимков, который уже будет существовать. Одна камера не может дать то количество снимков, что позволит более качественно обработать картинку, а вот два одинаковых модуля позволят это сделать. Более того, даже немного разнеся их, мы получим возможность фотографировать в стерео. Такие эксперименты уже были, но сама идея объемных фотографий была слишком преждевременной для рынка, в будущем к ней снова подступятся и попытаются реализовать. Можно говорить, что развитие таких камер откроет дорогу для голографических, объемных звонков. Пространство для улучшений огромно, и его хватит на несколько десятков лет. Поэтому ждать застоя в этой области точно не приходится, но мы нуждаемся в еще большем удешевлении компонентов, так как они становятся серьезным тормозом развития технологий. Их нужно больше и по меньшей цене.

Ссылки по теме

Поделиться: 

Мы в социальных сетях:

• ВКонтакте
• Telegram

Больше материалов
на новой версии сайта. Теперь читать с мобильных
стало удобно!

Есть, что добавить?! Пишите... [email protected]