Wydział Informatyki - Informatyka (S2)
specjalność: systemy komputerowe i technologie mobilne
Sylabus przedmiotu Metody rozpoznawania wzorców:
Informacje podstawowe
| Kierunek studiów | Informatyka | ||
|---|---|---|---|
| Forma studiów | studia stacjonarne | Poziom | drugiego stopnia |
| Tytuł zawodowy absolwenta | magister | ||
| Obszary studiów | nauk technicznych | ||
| Profil | ogólnoakademicki | ||
| Moduł | — | ||
| Przedmiot | Metody rozpoznawania wzorców | ||
| Specjalność | inteligentne aplikacje komputerowe | ||
| Jednostka prowadząca | Katedra Metod Sztucznej Inteligencji i Matematyki Stosowanej | ||
| Nauczyciel odpowiedzialny | Przemysław Klęsk <pklesk@wi.zut.edu.pl> | ||
| Inni nauczyciele | Marcin Korzeń <Marcin.Korzen@zut.edu.pl> | ||
| ECTS (planowane) | 2,0 | ECTS (formy) | 2,0 |
| Forma zaliczenia | egzamin | Język | polski |
| Blok obieralny | — | Grupa obieralna | — |
Formy dydaktyczne
Wymagania wstępne
| KOD | Wymaganie wstępne |
|---|---|
| W-1 | matematyka |
| W-2 | rachunek prawdopodobieństwa i statystyka |
| W-3 | metody optymalizacji |
| W-4 | podstawy programowania, znajomosc przynajmniej jednego ze środowisk/jezykw obliczeniowych: Matlab, Mathematica, R, Python |
| W-5 | wstęp do sztucznej inteligencji |
Cele przedmiotu
| KOD | Cel modułu/przedmiotu |
|---|---|
| C-1 | Ukształtowanie rozumienia matematycznych elementów teorii uczenia dla zadania rozpoznawania wzorców, ze szczególnym naciskiem na własność zdolności do uogólniania. |
| C-2 | Przedstawienie różnych odmian algorytmu SVM i wyjaśnienie jego związków ze zdolnością do uogólaniania. |
| C-3 | Przedstawienie problemu rozpoznawania wzorców zależnych od czasu oraz możliwych praktycznych zastosowań (rozpoznawanie dokumentów tekstowych, pisma, głosu, sekwencji video). Przedstawienie algorytmów z dziedziny HMM. |
Treści programowe z podziałem na formy zajęć
| KOD | Treść programowa | Godziny |
|---|---|---|
| laboratoria | ||
| T-L-1 | Metoda SVM, własna implementacja wykorzystująca funkcję quadprog, przekształcenia jądrowe | 2 |
| T-L-2 | Metoda SVM biblioteki: LibSVM i LibLINEAR, wykorzystanie w programie Matalb | 2 |
| T-L-3 | Analiza danych mikromacierzowych oraz danych tekstowych, sprawozdanie | 2 |
| T-L-4 | Ukryte łańcuch markowa, algorytmy Bauma-Welcha oraz Viterbiego, własna implementacja | 4 |
| T-L-5 | Ukryte łańcuchy markowa w pakiecie R oraz w pakiecie BNT (Matlab) | 2 |
| T-L-6 | Zastosowanie ukrytych łańcuchów Markowa do rozpoznawania autorstwa | 3 |
| 15 | ||
| wykłady | ||
| T-W-1 | Rozpoznawanie wzorcow jako zadanie klasyfikacji, problem ekstrakcji cech, przykłady | 2 |
| T-W-2 | Matematyczne postawienie zadania rozpoznawania wzorców (klasyfikacji) w terminach statystycznej teorii uczenia. Pojęcia: maszyna ucząca się, zbiór funkcji aproksymujących, zbiór funkcji błędu, błąd prawdziwy (zdolność do uogólniania), błąd na próbie, zbieżność jednostajna reguły ERM. Model PAC. | 2 |
| T-W-3 | Ograniczenia na błąd prawdziwy i zaawansowane pojęcia w ramach teorii uczenia: shattering, wymiar Vapnika-Chervonenkisa, nierówność Chernoffa (Hoeffdinga), złożoność próbkowa, pokrycia i liczby pokryciowe, złożoność Rademachera. | 2 |
| T-W-4 | Algorytm Support Vector Machines. Margines separacji. Różne warianty kryterium optymalizacyjnego SVM: z/bez mnożników Lagrange'a, 'soft-margin'. Przekształcenie jądrowe. | 4 |
| T-W-5 | Rozpoznawanie wzorców przebiegających w czasie (temporal pattern recognition). Ukryte Modele Markowa (Hidden Markov Models). Pojęcia: proces stochastyczny, łańcuch stochastyczny, łańcuch stacjonarny, łańcuch markowowski. Przypadkowe błądzenie (problem przejść przez zero). Algorytmy: Forward-Backward, Viterbi'ego, Bauma-Welcha. | 5 |
| 15 | ||
Obciążenie pracą studenta - formy aktywności
| KOD | Forma aktywności | Godziny |
|---|---|---|
| laboratoria | ||
| A-L-1 | Uczestnictwo w zajęciach | 15 |
| A-L-2 | Przygotowanie do zajęć | 4 |
| A-L-3 | Samodzielna praca nad zadaniami programistycznymi i sprawozdaniami | 10 |
| A-L-4 | Udział w konsultacjach i zaliczeniu formy zajęć | 2 |
| 31 | ||
| wykłady | ||
| A-W-1 | Samodzielne studiowanie matematycznych aspektów teorii uczenia. Łączenie nierówności probabilistycznych. Analiza wyprowadzeń ograniczeń na błąd prawdziwy. | 4 |
| A-W-2 | Analiza pojęcia shattering i przykładów wymiarów VC dla niektórych maszyn uczących się. | 2 |
| A-W-3 | SVM - formułowanie i rozwiązywanie przy pomocy komputera (MATLAB, Mathematica) różnych wersji kryterium optymalizacyjnego dla algorytmu SVM. Wyliczanie marginesu separacji. Dobieranie parametru 'soft-margin'. | 4 |
| A-W-4 | "Ręczne" (pisemne) śledzenie działania poszczególnych algorytmów w ramamach HMM na małych przykładach. | 2 |
| A-W-5 | Udział w wykładzie | 15 |
| 27 | ||
Metody nauczania / narzędzia dydaktyczne
| KOD | Metoda nauczania / narzędzie dydaktyczne |
|---|---|
| M-1 | wykład informacyjny |
| M-2 | wykład problemowy |
| M-3 | metody programowane z użyciem komputera |
Sposoby oceny
| KOD | Sposób oceny |
|---|---|
| S-1 | Ocena podsumowująca: Pisemne kolokwium egzaminacyjne. |
| S-2 | Ocena formująca: oceny czastkowe z zadan programistycznych oraz sprawozdan |
| S-3 | Ocena podsumowująca: Ocena koncowa z laboratorium - srednia z ocen czastkowych (wazona stopniem trudnosci i zlozonosci zadania) |
Zamierzone efekty kształcenia - wiedza
| Zamierzone efekty kształcenia | Odniesienie do efektów kształcenia dla kierunku studiów | Odniesienie do efektów zdefiniowanych dla obszaru kształcenia | Cel przedmiotu | Treści programowe | Metody nauczania | Sposób oceny |
|---|---|---|---|---|---|---|
| I_2A_D19/06_W01 Rozumie sens zadania pattern recognition oraz temporal pattern recognition. Zna algorytm SVM oraz algorytmy z grupy HMM. Ma znajomość matematycznych aspektów i rezultatów z zakresu statystycznej teorii uczenia. | I_2A_W01, I_2A_W08 | T2A_W01, T2A_W03, T2A_W04, T2A_W07 | C-1 | T-W-2, T-W-3 | M-1, M-2 | S-1, S-2 |
Zamierzone efekty kształcenia - umiejętności
| Zamierzone efekty kształcenia | Odniesienie do efektów kształcenia dla kierunku studiów | Odniesienie do efektów zdefiniowanych dla obszaru kształcenia | Cel przedmiotu | Treści programowe | Metody nauczania | Sposób oceny |
|---|---|---|---|---|---|---|
| I_2A_D19/06_U01 Potrafi stosować różne odmiany algorytmu SVM. Potrafi budować modele markowowskie (i stosować algorytmy z zakresu HMM) do rozpoznawania danych ze zmiennością w czasie. | I_2A_U10, I_2A_U09, I_2A_U05, I_2A_U07 | T2A_U08, T2A_U09, T2A_U10, T2A_U11, T2A_U12, T2A_U18 | C-2 | T-W-4 | M-1, M-2, M-3 | S-1, S-2 |
Kryterium oceny - wiedza
| Efekt kształcenia | Ocena | Kryterium oceny |
|---|---|---|
| I_2A_D19/06_W01 Rozumie sens zadania pattern recognition oraz temporal pattern recognition. Zna algorytm SVM oraz algorytmy z grupy HMM. Ma znajomość matematycznych aspektów i rezultatów z zakresu statystycznej teorii uczenia. | 2,0 | |
| 3,0 | Uzyskanie przynajmniej 50% punktów z pisemnego kolokwium zaliczeniowego. | |
| 3,5 | ||
| 4,0 | ||
| 4,5 | ||
| 5,0 |
Kryterium oceny - umiejętności
| Efekt kształcenia | Ocena | Kryterium oceny |
|---|---|---|
| I_2A_D19/06_U01 Potrafi stosować różne odmiany algorytmu SVM. Potrafi budować modele markowowskie (i stosować algorytmy z zakresu HMM) do rozpoznawania danych ze zmiennością w czasie. | 2,0 | |
| 3,0 | Uzyskanie przynajmniej 50% punktów z praktycznych zadań laboratoryjnych dotyczących algorytmów z grupy SVM i HMM. | |
| 3,5 | ||
| 4,0 | ||
| 4,5 | ||
| 5,0 |
Literatura podstawowa
- J. Koronacki, J. Ćwik, Statystyczne systemy uczące się, WNT, Warszawa, 2005
- R. Rabiner, A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition, IEEE, 1989
Literatura dodatkowa
- V. Cherkassky, F. Mulier, Learning from data, Wiley & Sons, 2007
- V. Vapnik, Statistical Learning Theory, Wiley & Sons, 1998