В последние 2-3 года камеры телефонов развиваются слабо — это в обычном фотоаппарате можно поставить сенсор побольше, а в смартфонах все упирается в размеры. Производителям приходится выкручиваться — отсюда все эти HDR+, двойные камеры и прочие ухищрения.
Как росла оценка камер смартфонов с 2012 года
Мы перевели статью сайта DxOMark, который шестой год тестирует камеры смартфонов и рассказал, как они улучшились за это время.
Количество шумов и детализация
Шум и детализация тесно связаны между собой, поэтому рассмотрим их вместе. Количество шума тем меньше, чем больше размеры сенсора, светосила объектива и время экспозиции. Правило простое: больше света — меньше шума. Но первые два варианта не реализуются в смартфонах из-за ограниченного пространства, а при долгой выдержке можно снимать только статику и на штативе — иначе изображение будет размытым.
Также шум изображения можно уменьшить при обработке, но сильное программное шумоподавление замыливает картинку.
Производители решают проблему тремя способами.
- Увеличивают диафрагму — за последние 5 лет она расширилась с f/2.4 до f/1.5 (в недавно представленном Samsung Galaxy S9). Чем шире диафрагма, тем больше света проходит сквозь объектив и попадает на сенсор.
- Используют двойные камеры, тем самым увеличивая размер сенсора. Это помогает в сохранении детализации, но делает сложным захват информации при слабом свете.
- Устанавливают систему оптической стабилизации. С ней уменьшается тряска при съемке, и можно использовать более долгую выдержку.
Как менялись количество шумов и детализация
Обработка изображения
Производители улучшают картинку и программно. Вот, например, iPhone 5s и iPhone 6 — сами камеры у них не отличается, но шестерка оснащена чипсетом Apple A8 с улучшенным процессором сигналов изображения (ISP) и поддержкой шумоподавления TNR.
Изображения ниже сделаны при низкой освещенности 5 люкс. Видно, что детализация значительно увеличивается с iPhone 5s до iPhone 6. А вот между iPhone 6 и iPhone 7 Plus разница не такая большая, несмотря на все улучшения. Увеличенную детализацию (12 мегапикселей против 8 в iPhone 6) «съел» шумодав. В iPhone X улучшили алгоритмы TNR, поэтому картинка снова сделала шаг вперед.
Производители используют разные алгоритмы обработки фотографий. У Samsung много шумоподавления, поэтому в процессе теряется детализация. У Pixel 2 больше шума, но при этом лучше детализация. Apple и Huawei — ни туда, ни сюда.
Экспозиция
Камеры хорошо снимали при естественном ярком свете еще в 2012 году. Улучшения с тех пор касаются в основном съемки при недостаточном и искусственном свете. Для этого компании работают в основном над программным обеспечением. Камеры становятся «умнее» — у них теперь есть HDR и HDR+, функция обнаружения лиц.
Как улучшалась экспозиция камер
Фотографии ниже сделаны при освещенности 1 люкс. Nokia 808 делает темную экспозицию, несмотря на большой датчик. iPhone 5s захватывает более яркое, но все еще недоэкспонированное изображение — отчасти из-за отсутствия шума изображения, и отчасти потому, что философия обработки изображений Apple слегка не «выкручивает» темные участки, чтобы поддерживать атмосферу сцены. Samsung Galaxy S7 — самое современное устройство в этом сравнении, и результаты у него самые лучшие.
Благодаря лучшей шумоизоляции, у флагманских моделей Huawei Mate 10 Pro и Google Pixel 2, снимки становятся ярче и ровнее. Apple все так же затемняет фотографии в iPhone X.
Посмотрим, как камеры справляются с контрастными сценами. Из-за того, что iPhone 5 не оснащен системой определения лица, на фотографии человек — во тьме. iPhone 7 Plus уже его выделяет, но засвечивает фон. Новейшее устройство в этом сравнении – iPhone 8, оснащенный современным HDR и системой определения лица, хорошо справляется и с человеком, и с фоном.
Стабилизация видео
На старых устройствах — например, Nokia 808 и Samsung Galaxy S5 — стабилизация видео целиком программная. Алгоритм анализировал содержимое изображения и камера блокировала тряску рук. Затем Apple улучшила стабилизацию, начав использовать данные гироскопа.
Как улучшалась стабилизация видео в смартфонах
Дальше подъехала технология некаузальной стабилизации — она использует видеобуфер длиной в секунду, чтобы система стабилизации предугадывала движение камеры.
Потом в смартфонах появилась система оптической стабилизации, с которой картинка стала еще устойчивее. Сам механизм оптической стабилизации представляет собой датчик-стабилизатор, который корректирует движение линзы таким образом, чтобы при шевелёнке движение объектива компенсировалось противоположным движением линзы. Это приводит к стабилизации изображения во время съемки, а также снижает степень размазанности снимка.
Так как Nokia 808 не оснащена технологиями стабилизации, то заметны сильные искажения при ходьбе ↓
iPhone 5s – первый смартфон, который использовал данные гироскопа для стабилизации видео. Благодаря интеграции этого дополнительного датчика, на видео меньше тряски ↓
Несмотря на наличие оптической стабилизации, Samsung Galaxy S7 ведет себя хуже, чем iPhone 5 с электронно-гироскопной стабилизацией ↓
Система стабилизации Google Pixel обрабатывает каждый кадр сразу, достигая прекрасных результатов. Изображение не дрожит при ходьбе ↓
Автофокус
Система автофокусировки требует отлаженной совместной работы аппаратных и программных компонентов смартфона. Хотя автофокус в фото и видео работает за счет одинаковых технологий, он действует по-разному. Фокусировка на фотографиях должна быть быстрой и плавной, на видео – стабильной и гладкой, чтобы в финальной записи не были видны резкие изменения фокуса.
До 2015 года везде была контрастная фокусировка. Система наблюдает, как изменяется контраст изображения при перемещении элементов объектива. Для фокусировки линза перемещалась туда-сюда, чтобы камера поймала фокус. Это особенно мешает при съемке видео. Поэтому, например, iPhone 5 в начале видеозаписи просто блокировал фокус в одной точке и не менял его.
Как улучшался автофокус в смартфонах
В 2015 году производители добавили фазовый автофокус (PDAF). Samsung Galaxy S5 стал первым смартфоном с этой технологией, потом она появилась в iPhone 6. Недостаток фазового автофокуса в том, что он плохо работает в условиях низкой освещенности. Поэтому iPhone 6 при недостатке света переходил на контрастную автофокусировку.
В Samsung Galaxy S7 появилась технология Dual-Pixel. В каждый пиксель было внедрено по два фотодиода. Если при фазовой автофокусировке датчиками оснащены 5-10% пикселей, то теперь используется 100% пикселей. Поэтому фокусировка быстрая даже при низкой освещенности.
Google пошла по другому пути, оснастив Nexus 6P лазерным датчиком, оценивающим расстояние между объектами. Система хорошо работает на малых расстояниях и при низкой освещенности, но имеет проблемы при ярком свете и фокусировки на далеких объектах.
Зум
Масштабирование – область, где смартфоны по-прежнему сильно отстают фотоаппаратов, даже от мыльниц. У смартфонов тонкий корпус и неподвижный объектив, поэтому долго в них был только цифровой зум. Более-менее выкрутиться смогла Nokia со своим 808 — цифровой зум на 41-мегапиксельной камере работал вполне прилично.
Как улучшался зум в смартфонах
С двойными камерами в смартфонах наконец-то появился оптический зум. Первым таким смартфоном стал iPhone 7 Plus — правда, он проседал при низкой освещенности. Эту проблему решил телеобъектив с оптической стабилизацией в iPhone X. А Samsung Galaxy Note 8, в свою очередь, улучшил эту технологию и даже обскакал десятку.
Компания Huawei пошла по-другому пути. Вместо второго объектива с большим фокусным расстоянием, используются данные дополнительного 20-мегапиксельного черно-белого датчика для масштабирования.
Боке
Из-за маленьких сенсоров, камеры смартфонов имеют неопределенную глубину резкости. Чтобы имитировать малую глубину резкости, производители разработали режимы «фейкового» боке. Этот режим резко захватывает объекты переднего плана, плавно размывая фон. Samsung Galaxy S6 – первый смартфон с таким режимом, но он набрал меньше баллов чем iPhone 5 и Nokia 808, в которых его не было. Связано это с тем, что Samsung напортачила с софтом.
Google пошла на небольшую хитрость. Чтобы сделать боке на смартфоне Nexus 6P, пользователю нужно слегка переместить устройство во время захвата, для создания размытого фона. А Huawei P9 стал первым устройством, использующим две камеры для моделирования боке. Смещенное положение двойных объективов лучше передает глубину фона.
Как улучшалось боке в смартфонах
Nexus 6P захватывает серию изображений пока камера движется вверх, но иногда ошибается. Такие же проблемы есть и у Samsung Galaxy S7, в котором используется подход фокус-штабелирования – последовательная съемка нескольких изображений, а затем последующее слияние. Huawei P9, где боке реализуется двумя камерами, лучше оценивает глубину сцены, чем смартфоны Google и Samsung, но еще далек от совершенства.
Красными стрелками показаны косяки
Apple iPhone 8 Plus и iPhone X обеспечивают хорошую изоляцию объекта и плавное естественное размытие. Google Pixel 2 и Samsung Galaxy Note 8 получили схожие оценки, но механизм действия различен. Pixel 2 использует технологию Dual-Pixel в сочетании с алгоритмами машинного обучения для оценки глубины, а Note 8 — данные со второй камеры.
Благодаря сочетанию двух камер, Huawei Mate 10 Pro хорошо изолирует предмет и делает приятное размытие. Но у дополнительной камеры тот же широкоугольный объектив, что и у основной. Поэтому устройство не может полностью захватить одно и то же изображение, как камеры iPhone X и Note 8.
Современные телефоны с поддержкой двух камер лучше подходят для создания глубины. В примерах ниже видно, что объекты на переднем плане четкие, а небольшие закрытые фоновые области правильно размыты.
Нынешние флагманы способны создавать хорошее боке в условиях высокой освещенности. Также есть возможности для улучшения качества при низкой освещенности. При тусклом свете изображения показывают высокий уровень шума и яркости, что заметно на тонах кожи.
Чего ждать дальше
В ближайшие годы появится больше пространственных компонентов на смартфонах — таких как датчики времени пролета или технология Dual-Pixel. Они улучшат боке, портреты, освещение лиц и других характеристик. Будут развиваться двухкамерные смартфоны, которые эффективно подавляют шумы, сохраняют детализацию, делают хорошее боке при низком освещении. И разумеется, не стоит забывать про машинное обучение, когда алгоритмы способны накапливать некий опыт и использовать его для создания более качественных фотографий.
