Analiza obrazów

13-02-2018

Dr inż. Arkadiusz Tomczyk z Wydziału FTMS PŁ w projekcie sfinansowanym przez Narodowe Centrum Nauki opracował innowacyjną metodę analizy obrazów. Znajdzie ona zastosowanie m. in. w diagnostyce medycznej.

W jaki sposób dziś analizuje się obrazy?

Dziś coraz częściej odchodzi się od klasycznych metod przetwarzania i rozpoznawania na rzecz rozwiązań powstających z wykorzystaniem tak zwanego uczenia maszynowego. (…)

Mechanizm uczenia maszynowego przypomina sytuację, w której nauczyciel stara się tak zmodyfikować umysł ucznia, aby ten posiadł pożądaną umiejętność. (…) Aby uczenie maszynowe mogło mieć miejsce, należy dostarczyć komputerom pewnej wiedzy dziedzinowej o problemie, który mają rozwiązać. Niestety, pozyskiwanie takiej wiedzy w formie przydatnej dla maszyn nie zawsze jest proste.

Jakie są problemy z pozyskiwaniem wiedzy eksperckiej?

Najbardziej typowym rodzajem wiedzy wykorzystywanej w uczeniu maszynowym są zbiory przykładów. (…) Trudność w ich zebraniu dla systemów analizujących obrazy zależy między innymi od rodzaju obrazów i zadania, które jest stawiane systemowi. Jeśli są to obrazy specjalistyczne, dla których istnieje tylko wąska grupa ekspertów potrafiących je zinterpretować, a zadanie polega na precyzyjnym wskazaniu gdzie coś jest na zdjęciu, to zdobycie zbioru przykładów jest niezmiernie trudne. Typowym przykładem takiej sytuacji jest medyczna diagnostyka obrazowa.

W ramach grantu NCN pracowałem nad stworzeniem warsztatu naukowego, którego elementy choć częściowo pozwolą rozwiązać powyższe problemy. Należą do nich system PLANTATION oraz metoda aktywnych podziałów.

Na czym polega System PLANTATION?

Jest to narzędzie ułatwiające proces gromadzenia danych i wiedzy. Zostało ono przygotowane w postaci aplikacji sieciowej, do której dostęp uzyskuje się za pomocą przeglądarki internetowej. Daje to liczne korzyści. Przede wszystkim eksperci nie muszą instalować dedykowanego oprogramowania na swoich komputerach, a przekazywanie danych i wiedzy może dokonywać się w dowolnym, dogodnym dla eksperta miejscu, pod warunkiem, że ma dostęp do internetu. Dzięki temu można współpracować z ludźmi na całym świecie, którzy równolegle mogą edytować dziesiątki lub setki przykładów.

Co oznacza metoda aktywnych podziałów?

Aktywne podziały to oryginalne podejście do analizy obrazów. Zaproponowana przeze mnie metoda zakłada między innymi zmianę sposobu reprezentacji zawartości obrazów. Z punktu widzenia komputera obrazy są postrzegane jako regularna siatka tysięcy lub milionów punktów (pikseli), z którymi związana jest informacja o wizualizowanej wielkości fizycznej. Taka reprezentacja nie jest jednak intuicyjna dla człowieka. Ludzie analizując obrazy świadomie grupują punkty w mniej liczne obszary o podobnej charakterystyce i identyfikują granice między takimi obszarami. To spostrzeżenie jest również istotne z punktu widzenia akwizycji wiedzy eksperckiej. Ekspertowi łatwiej jest wyrazić swoje myśli i przekazać doświadczenie, gdy operuje czymś co jest dla niego znajome.

Jakie są zasady działania tej technologii?

Metoda aktywnych podziałów stanowi uogólnienie klasycznych technik aktywnych konturów, stosowanych od dawna w analizie obrazu. Ich zasada jest w gruncie rzeczy dość prosta. Mając obraz można na nim wskazać różnego rodzaju kontury, jednak tylko jeden z nich dokładnie wskazuje miejsce, gdzie znajduje się poszukiwana struktura. Pozostałe są w mniejszym lub większym stopniu gorzej dopasowane, należy zatem znaleźć optymalny, z punktu widzenia danego zadania, kontur. Zaletą takiego podejścia jest relatywna łatwość wykorzystania dostępnej wiedzy eksperckiej. Jednym z ciekawszych sposobów jest wykorzystywanie zbioru przykładów do maszynowego wyuczenia funkcji oceniającej dopasowanie konturu do obrazu.

W aktywnych podziałach zmieniany jest sposób reprezentacji zawartości obrazu ze zbioru pikseli na zbiór mniejszej liczby bardziej złożonych elementów. W moich badaniach rozważałem między innymi: odcinki, elipsy i tak zwane super-piksele (małe jednolite obszary). Ta zmiana powoduje, że pojęcie konturu, intuicyjnie oczywiste w przypadku reprezentacji opartej o piksele, nie może być zastosowane, dlatego zamiast optymalnego konturu poszukiwany jest optymalny podział zbioru elementów na te, które identyfikują poszukiwaną strukturę i te, które stanowią tło.

W jakich obszarach stosuje Pan swoje rozwiązania?

Metodę tę stosowałem zarówno do obrazów świata rzeczywistego, jak i obrazów związanych z medyczną diagnostyką obrazową. W pierwszym przypadku przykładowym zadaniem była lokalizacja znaków drogowych na obrazach pozyskiwanych z poruszających się pojazdów. W tym zadaniu nie było problemu z pozyskaniem danych i wiedzy eksperckiej, gdyż odpowiedni zbiór przykładów opracowaliśmy razem ze studentami na jednych z zajęć. Większe wyzwanie stanowiła druga grupa obrazów.

W celu pozyskania danych i wiedzy medycznej została nawiązana współpraca z lekarzami radiologami: z dr. Michałem Podgórskim z Instytutu Centrum Zdrowia Matki Polki w Łodzi oraz z dr Izabelą Michalską z Uniwersyteckiego Szpitala Klinicznego im. N. Barlickiego w Łodzi. Dzięki tej współpracy udało się stworzyć cztery bazy obrazowań medycznych: obrazy RTG ręki dzieci (wykonywane pod kątem diagnostyki wieku kostnego), obrazy rezonansu magnetycznego ośrodkowego układu nerwowego (diagnostyka stwardnienia rozsianego) i kolan (diagnostyka zmian chrząstki stawowej) oraz obrazy tomografii komputerowej brzucha (wykrywanie zmian w trzustce). Każda z tych baz zawiera 100 reprezentatywnych obrazowań. Na każdym z nich, z wykorzystaniem systemu PLANTATION, radiolodzy zaznaczyli, wykonując ogromną pracę, od jednej do kilkunastu struktur istotnych z punktu widzenia diagnostycznego. Za przykład ilustrujący ilość tej pracy może posłużyć oznaczenie samej trzustki, które zajmowało 2 godziny dla jednego pacjenta (oznaczane były wszystkie przekroje trójwymiarowego badania CT).

Pełny tekst rozmowy na stronie internetowej cyklu Nauka Movi(e)