Wydział Elektryczny - Elektrotechnika (S3)
Sylabus przedmiotu Neural Computations and Machine Learning:
Informacje podstawowe
| Kierunek studiów | Elektrotechnika | ||
|---|---|---|---|
| Forma studiów | studia stacjonarne | Poziom | trzeciego stopnia |
| Stopnień naukowy absolwenta | doktor | ||
| Obszary studiów | — | ||
| Profil | |||
| Moduł | — | ||
| Przedmiot | Neural Computations and Machine Learning | ||
| Specjalność | przedmiot wspólny | ||
| Jednostka prowadząca | Katedra Inżynierii Systemów, Sygnałów i Elektroniki | ||
| Nauczyciel odpowiedzialny | Adam Krzyżak <Adam.Krzyzak@zut.edu.pl> | ||
| Inni nauczyciele | Adam Krzyżak <Adam.Krzyzak@zut.edu.pl> | ||
| ECTS (planowane) | 6,0 | ECTS (formy) | 6,0 |
| Forma zaliczenia | egzamin | Język | polski |
| Blok obieralny | — | Grupa obieralna | — |
Formy dydaktyczne
Wymagania wstępne
| KOD | Wymaganie wstępne |
|---|---|
| W-1 | Zdobycie przez studenta wiedzy i umiejętności w zakresie omawianych treści programowych oraz korzystanie z metod uczenia maszynowego do konstrukcji algorytmów sterowania i optymalizacji i do przetwarzania sygnałów. |
Cele przedmiotu
| KOD | Cel modułu/przedmiotu |
|---|---|
| C-1 | zapoznanie doktoranta z metodologią i narzędziami służącymi do konstrukcji algorytmów klasyfikacji i przetwarzania sygnałów wykorzystujących sieci neuronowe i zaawansowane techniki uczenia maszynowego |
Treści programowe z podziałem na formy zajęć
| KOD | Treść programowa | Godziny |
|---|---|---|
| wykłady | ||
| T-W-1 | Introduction and course outline. Biological neuron models. Survey of artificial neural networks (ANN) architectures. Survey of learning techniques in ANN. | 1 |
| T-W-2 | Pattern classification. Bayesian Decision Theory. Discriminant functions. Classification rules for Gaussian densities. Chernoff and Bhattacharyya Bounds. | 6 |
| T-W-3 | Maximum likelihood and Bayesian parameter estimation. Sufficient Statistics. Principal Component Analysis (PCA). Fisher Linear Discriminant (FLD). | 6 |
| T-W-4 | Nonparametric techniques. Parzen kernels. K-Nearest Neighbor. Linear Discriminant Functions. Rosenblatt’s Perceptron. Perceptron Convergence Theorem. Widrow-Hoff Procedure. Ho-Kashyap Procedure. | 6 |
| T-W-5 | Multilayer Perceptron Networks. Backpropagation learning. Activation functions. Logistic, hyperbolic tangent, softmax. Approximation of functions. Cross-validation. Complexity regularization. Convolutional neural networks. | 4 |
| T-W-6 | Least squares error minimization. Unconstrained optimization techniques steepest descent. Newton method. Levenberg-Marquardt algorithm. Wiener filtering. | 2 |
| 25 | ||
| wykłady | ||
| T-W-1 | Support Vector Machines. Kernel SVM. Mercer ‘s Theorem. SVM for overlapping classes. SVM for nonlinear regression. | 5 |
| T-W-2 | Dimensionality reduction. Kernel PCA. Locally- linear embedding (LLE). Laplacian eigenmaps. Principal curves and manifolds. | 4 |
| T-W-3 | Graphical models. Bayes nets. Parameter learning. Hidden Markov Models. Learning in HMM. Baum-Welch algorithm. | 6 |
| T-W-4 | Approximate inference in HMM models. Statistical mechanics. Metropolis algorithm. Simulated annealing. Boltzmann machine. Monte Carlo and Gibbs sampling. Logistic belief networks. Deep belief networks. | 6 |
| T-W-5 | Information theory and neural networks. Maximum mutual information. Information gain for pruning decision trees. Independent component analysis. Maximum entropy for blind source separation. | 4 |
| 25 | ||
| wykłady | ||
| T-W-1 | Cover’s Theorem on separability of patterns. Interpolation problem. Tikhonov’s regularization. Radial Basis Function Networks. Kernel regression and RBF networks. Learning in RBF networks. | 4 |
| T-W-2 | Kohonen’s Self-Organizing Maps. Contextual maps. Kernel SOM. SOM and Kullback-Leibler Divergence. Applications in optimization, principal curve approximation, visualization and exploration of highly dimensional data. Vector quantization. | 6 |
| T-W-3 | Committee Machines. Bias and variance. Resampling schemes. Bootstrap. Ensemble averaging. Bagging and Boosting. Adaboost. Tree-based models. Mixture of experts | 6 |
| T-W-4 | Semi-supervised learning. K-means clustering. Hierarchical clustering. Mixture models. MLE estimation of parameters. Expectation Maximization for Gaussian mixtures. General EM Algorithm. | 6 |
| T-W-5 | Computational learning theory. Empirical Risk Minimization. Vapnik-Chervonenkis (VC) Dimension. Probably Approximately Correct (PAC) model. | 3 |
| 25 | ||
Obciążenie pracą studenta - formy aktywności
| KOD | Forma aktywności | Godziny |
|---|---|---|
| wykłady | ||
| A-W-1 | Obowiązkowe uczestnictwo w zajęciach | 25 |
| A-W-2 | Samodzielne studiowanie tematyki wykładów wraz ze studiowaniem literatury. | 35 |
| 60 | ||
| wykłady | ||
| A-W-1 | Obowiązkowe uczestnictwo w zajęciach | 25 |
| A-W-2 | Samodzielne studiowanie tematyki wykładów wraz ze studiowaniem literatury | 35 |
| 60 | ||
| wykłady | ||
| A-W-1 | Obowiązkowe uczestnictwo w zajęciach | 25 |
| A-W-2 | Samodzielne studiowanie tematyki wykładów wraz ze studiowaniem literatury | 35 |
| 60 | ||
Metody nauczania / narzędzia dydaktyczne
| KOD | Metoda nauczania / narzędzie dydaktyczne |
|---|---|
| M-1 | Wykład informacyjny |
Sposoby oceny
| KOD | Sposób oceny |
|---|---|
| S-1 | Ocena podsumowująca: Ocena wystawiana na podstawie oceny aktywności studentów podczas zajęć, prezentacji oraz egzaminu ustnego |
Zamierzone efekty kształcenia - wiedza
| Zamierzone efekty kształcenia | Odniesienie do efektów kształcenia dla dyscypliny | Odniesienie do efektów zdefiniowanych dla obszaru kształcenia | Cel przedmiotu | Treści programowe | Metody nauczania | Sposób oceny |
|---|---|---|---|---|---|---|
| EL_3A_O9_W01 Ma wiedzę na zaawansowanym poziomie, o charakterze podstawowym dla nowoczesnej teorii uczenia maszynowego i jej zastosowań. | EL_3A_W02 | — | C-1 | T-W-1, T-W-1, T-W-2, T-W-2, T-W-2, T-W-3, T-W-4, T-W-4, T-W-5, T-W-5, T-W-5 | M-1 | S-1 |
Zamierzone efekty kształcenia - umiejętności
| Zamierzone efekty kształcenia | Odniesienie do efektów kształcenia dla dyscypliny | Odniesienie do efektów zdefiniowanych dla obszaru kształcenia | Cel przedmiotu | Treści programowe | Metody nauczania | Sposób oceny |
|---|---|---|---|---|---|---|
| EL_3A_O9_U01 Potrafi zdobywać informacje naukowe z różnych źródeł, także obcojęzycznych oraz dokonywać właściwej selekcji tych informacji w zakresie systemw uczenia maszynowego a także stosować te informacje do rozwiązywania problemów naukowych w dziedzinie. | EL_3A_U08, EL_3A_U03 | — | C-1 | T-W-1, T-W-2, T-W-4, T-W-5 | M-1 | S-1 |
Zamierzone efekty kształcenia - inne kompetencje społeczne i personalne
| Zamierzone efekty kształcenia | Odniesienie do efektów kształcenia dla dyscypliny | Odniesienie do efektów zdefiniowanych dla obszaru kształcenia | Cel przedmiotu | Treści programowe | Metody nauczania | Sposób oceny |
|---|---|---|---|---|---|---|
| EL_3A_O9_K01 Orientuje sie w najnowszych trendach rozwojowych teorii uczenia maszynowego i ma potrzebę ciągłego podnoszenia kwalifikacji zawodowych i krytycznego analizowania najnowszych osiągnięć w swojej dziedzinie. | EL_3A_K02 | — | C-1 | T-W-3, T-W-5, T-W-4, T-W-1 | M-1 | S-1 |
Kryterium oceny - wiedza
| Efekt kształcenia | Ocena | Kryterium oceny |
|---|---|---|
| EL_3A_O9_W01 Ma wiedzę na zaawansowanym poziomie, o charakterze podstawowym dla nowoczesnej teorii uczenia maszynowego i jej zastosowań. | 2,0 | |
| 3,0 | Ma wiedzę na zaawansowanym poziomie, o charakterze podstawowym dla nowoczesnej teorii uczenia maszynowego i jej zastosowań | |
| 3,5 | ||
| 4,0 | ||
| 4,5 | ||
| 5,0 |
Kryterium oceny - umiejętności
| Efekt kształcenia | Ocena | Kryterium oceny |
|---|---|---|
| EL_3A_O9_U01 Potrafi zdobywać informacje naukowe z różnych źródeł, także obcojęzycznych oraz dokonywać właściwej selekcji tych informacji w zakresie systemw uczenia maszynowego a także stosować te informacje do rozwiązywania problemów naukowych w dziedzinie. | 2,0 | |
| 3,0 | Potrafi zdobywać informacje naukowe z różnych źródeł, także obcojęzycznych oraz dokonywać właściwej selekcji tych informacji w zakresie systemw uczenia maszynowego a także stosować te informacje do rozwiązywania problemów naukowych w dziedzinie | |
| 3,5 | ||
| 4,0 | ||
| 4,5 | ||
| 5,0 |
Kryterium oceny - inne kompetencje społeczne i personalne
| Efekt kształcenia | Ocena | Kryterium oceny |
|---|---|---|
| EL_3A_O9_K01 Orientuje sie w najnowszych trendach rozwojowych teorii uczenia maszynowego i ma potrzebę ciągłego podnoszenia kwalifikacji zawodowych i krytycznego analizowania najnowszych osiągnięć w swojej dziedzinie. | 2,0 | |
| 3,0 | Orientuje sie w najnowszych trendach rozwojowych teorii uczenia maszynowego i ma potrzebę ciągłego podnoszenia kwalifikacji zawodowych i krytycznego analizowania najnowszych osiągnięć w swojej dziedzinie | |
| 3,5 | ||
| 4,0 | ||
| 4,5 | ||
| 5,0 |
Literatura podstawowa
- S. Haykin, Neurel Networks and Learning Machines, Prentice Hall, Upper Sadle River, NJ, USA, 2009, 3
- R. O. Duda, P. E. Hart, D. G. Stork, Pattern Classification, Wiley-Interscience, New York, 2001, 2
- C. M. Bishop, Pattern Recognition and Machine Learning, Springer, New York, 2006, 1