Sztuka rejestrowania obrazu

16
Mieszko Krzykowski
Sztuka rejestrowania obrazu

Jakiś czas temu na swoim blogu pisałem o tym, że rozmiar pikseli i matrycy mają większy wpływ na jakość obrazu niż „suche” megapiksele, a także obiecałem, że napiszę coś więcej o rodzajach sensorów światłoczułych. Wygląda na to, że nadszedł czas na spełnienie swojej obietnicy i dzisiaj będziecie mogli poczytać trochę o układzie pikseli, rożnego rodzaju filtrach, czym się różni FSI od BSI i tym podobnych rzeczach, co w przyszłości może ułatwi (choć czasem nieświadomość bywa błogosławieństwem ;)) Wam wybór odpowiedniego aparatu cyfrowego, albo po prostu wzbogaci wiedzę.

CMOS kontra CCD

Podstawą działania każdej matrycy aparatu jest zjawisko fotoelektryczne wewnętrzne, czyli za powstanie „cyfrówek” możemy podziękować Albertowi Einsteinowi, ponieważ to on jako pierwszy opisał efekt fotoelektryczny, za co otrzymał nagrodę Nobla (nie, nie za wzór E=mC2 ;)). W dużym skrócie i bez zbędnego zanudzania, matryca jest zbudowana z dużej liczby fotodiod (o budowie pojedynczego piksela sensora więcej za chwilę). Gdy na jedną z nich pada światło, to energia fotonów jest przechwytywana przez elektrony, które zostają wzbudzone, a po uwolnieniu zostają łapane w studnię potencjału powstałą dzięki przyłożeniu napięcia do metalowej elektrody znajdującej się nad krzemową powierzchnią światłoczułą.

MOS Capacitor

Kondensator MOS matrycy CCD

Im więcej światła, tym więcej energii, tym więcej uwolnionych elektronów. Czyli „licząc” uwolnione w matrycy elektrony można zmierzyć natężenie padającego na nią światła. Brzmi całkiem prosto. W tym miejscu zaczynają się podziały, bo są dwa podstawowe podejścia do tego jak odczytywać dane z pikseli, które wiążą się z dwoma głównymi rodzajami matryc aparatów: CMOS i CCD. Nazwy te mogą początkowo być mylące, bo wbrew pozorom oba rodzaje matryc są oparte na bazie kondensatorów MOS i korzystają z tych samych praw fizyki, ale o ile w matrycach CCD dane z pikseli są odczytywane rzędami (ładunek elektryczny jest „przesuwany” do brzegu matrycy, tam jest mierzony i „mielony” przez przetwornik analogowo-cyfrowy), o tyle w matrycach CMOS z każdym pikselem jest połączony miniobwód elektryczny z tranzystorem i wzmacniaczem sygnału, dzięki czemu łatwo jest odczytać napięcie na każdym z nich. Różnic i niuansów technicznych znalazłoby się więcej, ale w praktyce matryce te różnią się od siebie tym, że CCD-ki zużywają więcej energii, są droższe w produkcji, często wymagają dodatkowego (w przypadku większych sensorów nawet aktywnego) układu chłodzenia i od jakiegoś czasu bardziej szumią od CMOS-ów (choć początkowo było na odwrót). Z drugiej strony niektórzy twierdzą, że CCD-ki zapewniają trochę lepszą jakość obrazu i odwzorowanie kolorów. Z tych powodów w tym momencie ponad 90% produkowanych matryc cyfrowych to CMOS-y, a sensory CCD wykorzystuje się teraz czasem aparatach kompaktowych, średnioformatowych ściankach cyfrowych niektórych producentów (na przykład Phase One), czy w astrofotografii.

Filtry kolorów – sprawdzony Bayer, kreatywne Fuji i tajemniczy Foveon

Wprawne oko zauważy, że do tej pory nie wspomniałem ani słowem o kolorze, a jedynie o natężeniu światła i faktycznie „goła” matryca cyfrowa robi zdjęcia czarno-białe (i nawet nadal są tworzone czarno-białe cyfrówki, takie jak Leica M-Monochrom, czy też czarno-białe ścianki Phase One IQ260 Achromatic). Jak więc tchnąć w obraz odrobinę koloru? Rozwiązaniem „na wypasie” jest technika 3CCD, wykorzystywana w niektórych kamerach cyfrowych. Światło białe jest tu rozdzielane na trzy podstawowe części składowe i każda z nich pada na oddzielną matrycę, czyli taka kamera ma aż trzy sensory. Łatwo się domyślić jakie to ma wady i ograniczenia. Dużo tańszym i częściej spotykanym sposobem jest korzystanie z filtrów kolorowych umieszczonych nad elementami światłoczułymi. W ten sposób filtr zielony przepuszcza przez siebie jedynie zieloną składową światła i piksel mierzy natężenie jedynie tego koloru. Gdyby aparaty nie obrabiały otrzymanego w ten sposób obrazu, to tworzone przez nie fotografie nie byłyby zbyt atrakcyjne, bo wyglądałyby jak kolorowe mozaiki. Dopiero odpowiednie algorytmy demozaikujące, które określają ostateczną barwę pojedynczego piksela na bazie informacji odczytanych przez punkty mu towarzyszące, umożliwiają uzyskanie bardziej strawnych efektów.

bayerfilter

Obrazek końcowy i to jak go widzi matryca aparatu. Źródło: Wikipedia

Najczęściej spotyka się układ filtrów Bayera. Piksele w nim są grupowane czwórkami: po dwa zielone, jeden niebieski i jeden czerwony. Wygląda to jakoś tak:

Filtr BayeraŹródło: Wikipedia

Z tego układu filtrów korzysta teraz ponad 90% produkowanych aparatów, bo jest on bardzo prosty, a przy tym skuteczny. Jego prostota ciągnie jednak za sobą pewną wadę. Ponieważ ten wzór jest bardzo powtarzalny, to na zdjęciach łatwo o pojawienie się prążków mory.

Prążki moryŹródło: Wikipedia

Wystarczy sfotografować kogoś w kraciastej, albo paskowanej koszuli i matryca zaczyna mieć problem. Zjawisko to poskromiono wstawiając nad matrycę dodatkowy zmiękczający filtr „antyschodkowy”, zwany filtrem dolnoprzepustowym. W ten sposób traci się odrobinę detalu i ostrości obrazu, ale przynajmniej nie trzeba się obawiać o wygląd zdjęć z koncentrycznymi wzorami, albo paskami.

Jednak nie wszystkim pasuje montowanie filtra dolnoprzepustowego. Ostatnio na rynku lustrzanek panuje moda wydawania aparatów pozbawionych tego elementu, które są bardziej podatne na morę, ale dają bardziej ostry obraz. Jednak niektórzy podchodzą do tematu bardziej ambitnie. Najbardziej kombinuje pod tym względem Fuji. Firma ta już w ubiegłym wieku tworzyła matryce inne niż wszyscy. Na przykład sensory SuperCCD miały piksele w kształcie ośmiokątów, a ich ewolucja o nazwie SuperCCD EXR miała piksele „dwa w jednym” z dwiema fotodiodami na fotocelę. Najnowsze matryce tego producenta (X-Trans) są trochę bardziej „normalne” i wróciły do kwadratowych pikseli, ale mają wyjątkowy układ filtrów kolorów, który jest trochę bardziej „losowy”, niż układ Bayera.

X-Trans

Dzięki temu można spokojnie odrzucić filtr dolnoprzepustowy (bez obawy o prążki mory) i różne testy pokazują, że nowe 16-megapikselowe matryce X-Trans dają mierzalną rozdzielczość na poziomie tradycyjnych 18-20-megapikselowych sensorów z filtrem AA. Wady? Algorytm demozaikujący nie należy do najprostszych, ale twórcy oprogramowania radzą sobie z tym coraz lepiej.

Jednak najbardziej odmienne i ciekawe podejście do tematu kolorowych matryc światłoczułych zaprezentowała firma Foveon, która w 2008 roku została wykupiona przez Sigmę. Wyjątkowość tego rozwiązania polega na tym, że każda fotocela/piksel, składa się z trzech fotodiod ułożonych „piętrami” i każda z nich pochłania i reaguje tylko fale świetlne o wybranej długości, czyli gdy do piksela wpada wiązka światła, to najpierw jest mierzona i oddzielana od niego jego „niebieskość”, później „zieloność”, a na koniec „czerwoność”. Dzięki temu nie trzeba nic interpolować, tak jak w matrycach z filtrami kolorowymi, bo każdy punkt obrazu podaje pełne informacje swojej barwie, a nie tylko o jej cząstce.

Foveon pixel

Matryce Foveon X3 są chwalone za bardzo naturalnie wyglądające kolory, za bardzo dużą ilość zapisywanych szczegółów, ostry obraz i za rewelacyjny zakres tonalny. Niestety mają one bardzo duży problem z szumami kolorowymi przy średnich i wysokich czułościach (najnowsza wersja tego sensora jest średnio użyteczna już nawet na ISO800), przez co nie zdobywają one większej popularności i nadal są rozwiązaniem niszowym trafiającym w gusta wąskiego grona użytkowników. Z tego powodu zupełnie się nie nadają do wykorzystywania ich w smartfonach, dlatego też od początku trochę bawiły mnie wpisy różnych osób twierdzących, że HTC One będzie miał sensor tego typu. Ale pomarzyć zawsze można ;)

Niedawno inżynierowie Panasonica wpadli na inny bardzo ciekawy sposób na pozbycie się kolorowych filtrów z matryc aparatów.

Technika ta w sprytny sposób korzysta z dobrze znanych zjawisk fizycznych, czyli z dyfrakcji (ugięcia fali przy krawędziach przeszkód) i refrakcji (czyli zmiany kierunku fali przy przejściu z jednego ośrodka „transportującego” do drugiego). Są one wykorzystywane do rozdzielenia wiązki światła białego na części w trakcie przechodzenia przez kolorowy deflektor umieszczony nad pikselem. Punkty matrycy są tu grupowane w czwórki, ale deflektory są umieszczone tylko nad dwoma z nich – jeden czerwony i jeden niebieski. W ten sposób zamiast klasycznego układu Bayera RG-GB uzyskuje się układ cyjan (czyli niebieski + zielony), biały + czerwony, biały + niebieski, żółty (czyli czerwony + zielony). Później znowu jest wykorzystywana nasza ukochana interpolacja i jest wyliczany ostateczny kolor każdego z pikseli.

panasonic1

panasonic2

panasonic3Zaletą tego rozwiązania jest to, że nie wymaga modyfikowania budowy pikseli, tak jak Foveon, a jedynie zmiany górnej warstwy sensora, w której dotychczas umieszczano filtry kolorowe. Kolejną zaletą jest znacznie lepsza wydajność kwantowa tego rozwiązania, czyli po drodze jest marnowane znacznie mniej fotonów, co w naturalny sposób wpływa pozytywnie na to jak dużo szumów generuje matryca. O ile nie ma to aż tak dużego znaczenia w przypadku dużych sensorów wykorzystywanych w lustrzankach, o tyle rozwiązanie to może przynieść bardzo dobre efekty w aparatach smartfonowych, w których każdy foton jest na wagę złota. I faktycznie wygląda na to, że w tym momencie inżynierowie Panasonica skupiają się na tym polu, ponieważ na powyższym filmiku w pewnym momencie można zobaczyć, że deflektor ma szerokość 1,43 mikrometra, czyli tyle... ile wynosi długość boku piksela w większości 8-megapikselowych matryc smartfonów. Na ostateczne owoce pracy Panasonica jeszcze będziemy musieli sobie poczekać (najpierw trzeba stworzyć odpowiednie procesory obrazu i znaleźć kogoś, kto będzie w stanie produkować takie sensory), ale zapowiada się ciekawie.

143um

BSI i FSI, czyli oszczędzania fotonów ciąg dalszy

Przed chwilą wspomniałem o tym, że w małych matrycach każdy foton jest na wagę złota i nie można ich marnować. Dlatego też od jakiegoś czasu można słyszeć o sensorach podświetlanych od tyłu, czyli BSI (back-side-illuminated), które szczególnie mocno rozwija Sony, choć od pewnego czasu z rozwiązania tego typu już korzystają, albo zaczną korzystać potentaci sensorów smartonowych, czyli Omnivision i Aptina. Co to oznacza, że jakaś matryca jest podświetlana od tyłu i po co się to robi?

Do tej pory pisałem o dwóch elementach piksela matrycy, ale jego budowa jest bardziej skomplikowana. Najlepiej prezentuje to poniższy rysunek:

fsibsi2

Czyli wiązka światła najpierw jest skupiona przez mikrosoczewkę, później przechodzi ona przez filtr koloru, a później musi się przebijać przez warstwy metalu, aby w końcu dotrzeć do fotodiody. Do długa droga dla fotonu i część z nich jest gubiona po drodze. O ile w przypadku dużych matryc z dużymi fotocelami te straty są na akceptowalnym poziomie, to wraz ze wzrostem gęstości upakowania pikseli każdy z nich zaczyna przypominać kształtem wydłużony prostopadłościan i ścieżka dla fotonów staje się coraz węższa i dłuższa. Dlatego też zaczęto kombinować z przeniesieniem fotodiody ponad warstwę metalu i tak powstało BSI. Technologia ta jest jeszcze w fazie rozwoju, ale już można powiedzieć, że smartfonowe matryce BSI (szczególnie te nowe, 13-megapikselowe) mają lepszą efektywność kwantową, niż ich odpowiedniki FSI, choć nadal są pewne problemy z tym, żeby fotony trafiały do tego piksela co trzeba i nadal są one wyraźnie droższe w produkcji, przez co na razie raczej będą występowały jedynie high-endowych słuchawkach.

fsibsi

Dla ambitniejszych – materiały dodatkowe

Wbrew pozorom ten tekst ociera się jedynie o podstawy budowy matryc światłoczułych i zawiera sporo uogólnień i uproszczeń, które nie zawsze są w 100% precyzyjne, ale pomagają w załapaniu ogólnego sposobu działania tego czego używamy teraz do fotkowania. Osobom bardziej dociekliwym polecam przejrzenie poniższych dokumentów.

Oceny (25)
Średnia ocena
Twoja ocena
Andree (2013.05.06, 21:23)
Ocena: 2
Dzięki za linka, pan prof. Hu wydał całą książkę o współczesnych półprzewodnikach!
Furionpl (2013.05.06, 22:56)
Ocena: 8
Od początku bycia na labie interesuje mnie pewna sprawa.
Mianowicie poziom Waszych artykułów czasami sprawia, że trzeba szczękę z podłogi zbierać, tutaj mamy tego świetny przykład.
Jak przychodzi co do czego to na forum nie ma takich specjalistów i nie można praktycznie żadnej fachowej porady otrzymać, tak więc są ludzie posiadający ogromną wiedzę ale na forum oprócz dwóch czy trzech działów nie udzielają się takie właśnie osobistości.
Poziom jest bardzo przeciętny i ciągle spada, niedługo w działach hardware będą się gimnazjaliści wypowiadać i doradzać.
W każdym razie dziękuje za świetny artykuł, temat bardzo dogłębnie przebadany i poparty rzetelnymi informacjami, to co uwielbiam najbardziej!
Pozdrawiam i liczę na więcej.
Enderw (2013.05.06, 23:41)
Ocena: 2
Muszę przyznać, że ciekawy artykuł. Wpis jest bez zbędnej dłużyzny, napisany z zaangażowaniem i stosowną analizą tematu.

Ostatnio trochę popsioczyłem na Labie, więc dla bycia sprawiedliwym muszę przyznać, że powyższy tekst bardzo mi się spodobał.

A jeśli chodzi o rozwiązania, to do mnie osobiście najbardziej trafia rozwiązanie Foveon'a. Wydaje się być takie... 'eleganckie'. Nie mniej z punktu widzenia technicznego pewnie mają problemy z pełnym odseparowaniem określonych długości fal świetlnych, a niska skuteczność już przy czułości 800 to ogromna wada. W zasadzie takie matryce nadają się głównie do robienia zdjęć w słoneczny pogodny dzień.
SunTzu (2013.05.07, 05:59)
Ocena: 4
10/10
emgieb (2013.05.07, 12:41)
Ocena: 3
1. z tą rozpiętością Foveona to ja bym nie przesadzał ;] Nie powala na kolana i nie jest lepsza od konkurencyjnych matryc. Największą zaletą Foveona jest ostrość, ale... od momentu premiery pierwszego Foveona zawsze wychodziło jakoś tak, że matryca bayerowska z tą samą liczbą punktów światłoczulych, po zinterpolowaniu pliku wynikowego do rozdzielczości Foveona, daje tyle samo szczegółów. Wadą Foveona jest też brak obsługi RAW-ów w Camera RAW i Lightroomie.

2. Wspomniana matryca Fuji z dwoma typami komórek była na swój czas oszałamiająca pod względem rozpiętości tonalnej. Fuji S5Pro jest nadal cenionym aparatem do pewnych zastosowań.

3. Jak już o matrycach i filtrach, to warto byłoby wspomnieć o rejestrowaniu obrazu w pasmach IR i UV, oraz o możliwościach przeróbek aparatów, niektórych nawet chałupniczo.

4. Filtr AA oraz filtr Bayera również można usunąć, są firmy, które się w tym specjalizują. To nisza, ale warta wspomnienia.

5. Jest jeszcze kilka opatentowanych rozwiązań naśladujących Foveona, o których autor nie wspomniał.

6. brakuje mi informacji o tym, że każda matryca ma tak naprawdę jedną czułość, natywną :) i co z tego wynika :)

7. brakuje mi informacji o Lytro tutaj...

8. ...oraz o pomysłach na wklęsłe matryce i informacji skąd w ogóle takie zapotrzebowanie (kwestia aberracji chromatycznej)

9. na pewno coś bym jeszcze znalazł :D
miekrzy (2013.05.07, 13:02)
Ocena: 1
1-9. I tak można by było rozwijać w nieskończoność, co by zaburzyło główne przesłanie i założenie tekstu, a miałoby być w miarę krótko, przejrzyście i przyjemnie.
michal (2013.05.07, 13:12)
Ocena: 2
Jedna uwaga, że efekt mory nie występuje tylko dla kolorowej fotografii cyfrowej, tylko dla wszystkich obrazów dyskretnych (w tym 'cyfrowych' ). Niektóre ze wzorów mory można uzyskać nawet rysując ołówkiem na kartce.
Także na pewno nie jest to specyficzna cecha kolorowej fotografii, tylko cyfrowego obrazu w ogóle. Monochromatyczne fotografie cyfrowe też są na ten efekt podatne.

Poza tym ciekawy artykuł :). Nie wiedziałem, że teraz CMOS'y są już mniej zaszumione niż CCD. W czasach jak się tym interesowałem, było jeszcze odwrotnie ;).
Edytowane przez autora (2013.05.07, 13:14)
emgieb (2013.05.07, 13:25)
Ocena: 1
O, zapomniawszy, CCD miały kiedyś większą rozpiętość tonalną niż CMOS.
HΛЯPΛGŌN (2013.05.07, 14:01)
Ocena: -4
' będą występowały jedynie high-endowych słuchawkach.'

Słuchawkach? To nie jest jakiś błąd?
miekrzy (2013.05.07, 14:15)
Ocena: 3
Słuchawka to inne określenie telefonu (choć teraz trochę zapomniane).
Decepticon (2013.05.07, 22:27)
Ocena: 2
Jeżeli chodzi o efekt mory, dodałbym jeszcze, że problem ten jest tym mniej istotny, im wyższa rozdzielczość matrycy. Dlatego np. Nikon po raz pierwszy zrezygnował z filtra AA dopiero w matrycy 36 mp. Teoretycznie, jeżeli jej rozdzielczość przekroczy rozdzielczość optyczną obiektywu (tak, że każdy punkt obrazu z obiektywu trafia na nie więcej niż jeden subpiksel), problem ten wogóle nie powinien już występować.
Edytowane przez autora (2013.05.07, 22:30)
SunTzu (2013.05.08, 02:23)
Ocena: 1
@up
Brzmi to trochę jak ta 'nowa' lumia, gdzie bodaj aparat jest 40mpx?

Jest tutaj mały paradoks, bo im większa matryca tym lepszy obraz, im większy detektor tym lepszy obraz/mniej szumów (mniejsze ISO konieczne)....

Wracając do tematu... wg. twojej definicji efekt ten można chcąc uzyskać zdjęcie np. 4mpx z aparatu 12mpx. Nigdy nad tym się nie zastanawiałem, producenci aparatów chyba też :P
emgieb (2013.05.08, 10:11)
Ocena: 1
D800E nie jest pozbawiony filtra AA ;] Po prostu filtr jest inaczej zbudowany.

http://www.imaging-resource.com/PRODS/niko.../ZD800ELPF2.JPG
radek_z (2013.05.10, 14:23)
Ocena: 1
Uzupełnię art. o informacje że z morą mamy do czynienia gdy fotografowany wzór swoją gęstością przekracza rozdzielczość matrycy. Prosty z tego wniosek ze wrażliwość na morę spada wraz ze wzrostem rozdzielczości matryc, stąd właśnie zaczęły się pojawiać modele lustrzanek pozbawione filtra dolnoprzepustowego. Są one jednak kierowane do świadomego odbiorcy który wie na co się decyduje. Dlatego też są to raczej zaawansowane modele profesjonalne (specjalna wersja Nikon D800, na marginesie 36 mega pix)
emgieb (2013.05.10, 20:12)
Ocena: 1
Piętro wyżej napisałem coś o D800E i filtrze AA ^^
g-ryznar (2015.02.26, 14:39)
Ocena: 0
Świetny, rzetelny, profesjonalny artykuł panie Mieszku. Oby więcej takich.
Zaloguj się, by móc komentować