Wydział Informatyki - Informatyka (S2)
Sylabus przedmiotu Duże zbiory danych:
Informacje podstawowe
| Kierunek studiów | Informatyka | ||
|---|---|---|---|
| Forma studiów | studia stacjonarne | Poziom | drugiego stopnia |
| Tytuł zawodowy absolwenta | magister inżynier | ||
| Obszary studiów | charakterystyki PRK, kompetencje inżynierskie PRK | ||
| Profil | ogólnoakademicki | ||
| Moduł | — | ||
| Przedmiot | Duże zbiory danych | ||
| Specjalność | przedmiot wspólny | ||
| Jednostka prowadząca | Katedra Inżynierii Systemów Informacyjnych | ||
| Nauczyciel odpowiedzialny | Przemysław Korytkowski <Przemyslaw.Korytkowski@zut.edu.pl> | ||
| Inni nauczyciele | Przemysław Korytkowski <Przemyslaw.Korytkowski@zut.edu.pl>, Bartłomiej Małachowski <Bartlomiej.Malachowski@zut.edu.pl> | ||
| ECTS (planowane) | 5,0 | ECTS (formy) | 5,0 |
| Forma zaliczenia | zaliczenie | Język | polski |
| Blok obieralny | — | Grupa obieralna | — |
Formy dydaktyczne
Wymagania wstępne
| KOD | Wymaganie wstępne |
|---|---|
| W-1 | Podstawy wykorzystywania, administrowania i projektowania baz danych |
| W-2 | Podstawy programowania |
Cele przedmiotu
| KOD | Cel modułu/przedmiotu |
|---|---|
| C-1 | Zapoznanie się z metodami przetwarzania i analizy dużych zbiorów danych |
| C-2 | Poznanie standardowych narzędzi informatycznych stosowanych w przetwarzaniu i analizie dużych zbiorów danych |
| C-3 | Przygotowanie do samodzielnego rozwiązywania problemów z zakresu przetwarzania i analizy dużych zbiorów danych |
Treści programowe z podziałem na formy zajęć
| KOD | Treść programowa | Godziny |
|---|---|---|
| laboratoria | ||
| T-L-1 | Apache Hadoop Disctributed File System | 2 |
| T-L-2 | Apache Hive | 4 |
| T-L-3 | Apache Sqoop | 2 |
| T-L-4 | Przetwarzanie danych w Spark z użyciem RDD API | 6 |
| T-L-5 | Przetwarzanie danych w Spark z użyciem Dataframe API | 4 |
| T-L-6 | Budowa systemu rekomendujcego z użyciem Apache Spark MLlib | 2 |
| T-L-7 | Apache Spark GraphX: zastosowanie algorytmu PageRank i modeli grafowych | 2 |
| T-L-8 | Przetwarzanie strumieniowe w Apache spark | 4 |
| T-L-9 | Grafowe bazy danych do przetwarzania dużych zbiorów danych (środowisko Neptune lub Giraph), indeksacja i optymalziacja zapytań do grafowych baz danych | 4 |
| 30 | ||
| wykłady | ||
| T-W-1 | Wprowadzenie do dużych zbiorów danych | 2 |
| T-W-2 | Środowisko Apache Hadoop: HDFS, YARN i MapReduce | 2 |
| T-W-3 | Bazy danych w Apache Hadoop: Hive, Sqoop | 2 |
| T-W-4 | Bazy danych w Apache Hadoop: HBase, Phoenix | 2 |
| T-W-5 | Bezpieczeństwo w Apache Hadoop: Ranger, Knox | 2 |
| T-W-6 | Administracja klastrem Apache Hadoop: Zookeeper | 2 |
| T-W-7 | Wprowadzenie do apache Spark, przegląd dostępnych metod transformacji danych | 4 |
| T-W-8 | Moduł Apache Spark SQL - przegląd możliwości, metody reprezentacji i manipulacji danych | 2 |
| T-W-9 | Metody uczenia maszynowego w Apache Spark | 2 |
| T-W-10 | Moduł apache Spark GraphX - reprezentacja danych grafowych, przegląd możliwości, przykłady zastosowań | 2 |
| T-W-11 | Strumieniowe przetwarzanie danych w Apache Spark | 2 |
| T-W-12 | Apache Kafka - założenia, możliwości. przykłady zastosowań w kontekście BigData | 2 |
| T-W-13 | Metody reprezentacji i próbkowania dużych zbiorow danych o strukturze grafowej | 2 |
| T-W-14 | Grafowe bazy danych do przetwarzania dużych zbiorów danych, metody indeksacji i optymalizacji zapytań do grafowych baz danych | 2 |
| 30 | ||
Obciążenie pracą studenta - formy aktywności
| KOD | Forma aktywności | Godziny |
|---|---|---|
| laboratoria | ||
| A-L-1 | Uczestnictwo w zajęciach | 30 |
| A-L-2 | Przygotowanie do zajęć laboratoryjnych | 20 |
| A-L-3 | Opracowanie wyników zadań laboratoryjnych, opracowanie sprawozdań | 10 |
| A-L-4 | Konsultacje | 2 |
| 62 | ||
| wykłady | ||
| A-W-1 | Uczestnictwo w zajęciach | 30 |
| A-W-2 | Przygotowanie do zaliczenia | 20 |
| A-W-3 | Analiza literatury i materiałów z wykładów | 10 |
| A-W-4 | Konsultacje | 2 |
| 62 | ||
Metody nauczania / narzędzia dydaktyczne
| KOD | Metoda nauczania / narzędzie dydaktyczne |
|---|---|
| M-1 | Wykład z prezentacją |
| M-2 | Laboratoria - metoda przypadków, rozwiązywanie zadań z użyciem komputera |
Sposoby oceny
| KOD | Sposób oceny |
|---|---|
| S-1 | Ocena formująca: Ocena zadań zrealizowanych na laboratoriach |
| S-2 | Ocena podsumowująca: Zaliczenie materiałów z wykładów w formie egzaminu pisemnego |
Zamierzone efekty uczenia się - wiedza
| Zamierzone efekty uczenia się | Odniesienie do efektów kształcenia dla kierunku studiów | Odniesienie do efektów zdefiniowanych dla obszaru kształcenia | Odniesienie do efektów uczenia się prowadzących do uzyskania tytułu zawodowego inżyniera | Cel przedmiotu | Treści programowe | Metody nauczania | Sposób oceny |
|---|---|---|---|---|---|---|---|
| I_2A_C02_W01 Posiada rozszerzoną wiedzę z zakresu przetwarzania i analizy dużych zbiorów danych | I_2A_W04 | — | — | C-1, C-2, C-3 | T-W-2, T-W-3, T-W-4, T-W-6, T-W-1 | M-1, M-2 | S-2 |
Zamierzone efekty uczenia się - umiejętności
| Zamierzone efekty uczenia się | Odniesienie do efektów kształcenia dla kierunku studiów | Odniesienie do efektów zdefiniowanych dla obszaru kształcenia | Odniesienie do efektów uczenia się prowadzących do uzyskania tytułu zawodowego inżyniera | Cel przedmiotu | Treści programowe | Metody nauczania | Sposób oceny |
|---|---|---|---|---|---|---|---|
| I_2A_C02_U01 Potrafi wykorzysać poznane metody, techniki i modele do rozwiązywania złożonych problemów z zakresy przetwarzania i analizy dużych zbiorów danych | I_2A_U04 | — | — | C-1, C-2, C-3 | T-W-7, T-W-6, T-W-5, T-W-8, T-L-2, T-L-1, T-L-3, T-L-4, T-L-5, T-L-6, T-L-8, T-L-7, T-L-9 | M-1, M-2 | S-1, S-2 |
Zamierzone efekty uczenia się - inne kompetencje społeczne i personalne
| Zamierzone efekty uczenia się | Odniesienie do efektów kształcenia dla kierunku studiów | Odniesienie do efektów zdefiniowanych dla obszaru kształcenia | Odniesienie do efektów uczenia się prowadzących do uzyskania tytułu zawodowego inżyniera | Cel przedmiotu | Treści programowe | Metody nauczania | Sposób oceny |
|---|---|---|---|---|---|---|---|
| I_2A_C02_K01 Aktywna postawa poznawcza, umocnienie świadomości potrzeby pozyskiwania aktualnej wiedzy do rozwiązywania problemów i wzmocnienie chęci rozwoju zawodowego. | I_2A_K02, I_2A_K03 | — | — | C-1, C-2, C-3 | T-W-2, T-W-7, T-W-3, T-W-4, T-W-6, T-W-5, T-W-1, T-W-8, T-L-2, T-L-1, T-L-3, T-L-4, T-L-5, T-L-6, T-L-8, T-L-7, T-L-9 | M-1, M-2 | S-1, S-2 |
Kryterium oceny - wiedza
| Efekt uczenia się | Ocena | Kryterium oceny |
|---|---|---|
| I_2A_C02_W01 Posiada rozszerzoną wiedzę z zakresu przetwarzania i analizy dużych zbiorów danych | 2,0 | Student nie opanował materiału w stopniu dostatecznym. |
| 3,0 | Student opanował materiał przedmiotu w stopniu podstawowym, rozróżnia podstawowe zdania i zna możliwości dostęnych narzędzi. | |
| 3,5 | Student opanował materiał przedmiotu w stopniu ponad podstawowoym,rozróżnia podstawowe zdania i zna możliwości dostęnych narzędzi. | |
| 4,0 | Student opanował materiał przedmiotu w stopniu dobry, rozróżnia podstawowe zdania i zna możliwości dostęnych narzędzi oraz rozumie używane w nich algorytmy | |
| 4,5 | Student opanował materiał przedmiotu w stopniu ponad dobry, rozróżnia podstawowe zdania, zna możliwości dostęnych narzędzi, rozumie używane w nich algorytmy i wie jak je dobrać w zależności od zdefiniowanego problemu | |
| 5,0 | Student opanował materiał przedmiotu w stopniu bardzo dobrym, rozróżnia podstawowe zdania, zna możliwości dostęnych narzędzi, rozumie używane w nich algorytmy i bardzo dobrze wie jak je dobrać w zależności od zdefiniowanego problemu |
Kryterium oceny - umiejętności
| Efekt uczenia się | Ocena | Kryterium oceny |
|---|---|---|
| I_2A_C02_U01 Potrafi wykorzysać poznane metody, techniki i modele do rozwiązywania złożonych problemów z zakresy przetwarzania i analizy dużych zbiorów danych | 2,0 | Student nie opanował materiału w stopniu dostatecznym |
| 3,0 | Student opanował materiał przedmiotu w stopniu dostatecznym, rozróżnia podstawowe zdania i umie je częsciowo rozwiązywać za pomocą dostęnych narzędzi. | |
| 3,5 | Student opanował materiał przedmiotu w stopniu więcej niż dostatecznym, rozróżnia podstawowe zdania i umie je rozwiązywać za pomocą dostęnych narzędzi. | |
| 4,0 | Student opanował materiał przedmiotu w stopniu dobrym, rozróżnia podstawowe zdania i umie je prawidłowo rozwiązywać za pomocą dostęnych narzędzi. | |
| 4,5 | Student opanował materiał przedmiotu w stopniu więcej niż dobrym, rozróżnia podstawowe zdania i umie je skutecznie rozwiązywać za pomocą dostęnych narzędzi. Potrafi zidentyfikować problem z zakresu analizy dużych zbiorów danych i dobrać do niego metodę. | |
| 5,0 | Student opanował materiał przedmiotu w więcej niż dobrym, rozróżnia podstawowe zdania i umie je skutecznie rozwiązywać za pomocą dostęnych narzędzi. Potrafi zidentyfikować problem z zakresu analizy dużych zbiorów danych oraz dobrać i uzasadnić metodę roziwiązania problemu. |
Kryterium oceny - inne kompetencje społeczne i personalne
| Efekt uczenia się | Ocena | Kryterium oceny |
|---|---|---|
| I_2A_C02_K01 Aktywna postawa poznawcza, umocnienie świadomości potrzeby pozyskiwania aktualnej wiedzy do rozwiązywania problemów i wzmocnienie chęci rozwoju zawodowego. | 2,0 | |
| 3,0 | Student aktywnie rozwiązuje postawione problemy wykazując samodzielność w doborze odpowiednich środków technicznych i metod inżynierskich | |
| 3,5 | ||
| 4,0 | ||
| 4,5 | ||
| 5,0 |
Literatura podstawowa
- White T., Hadoop. Komplety przewodnik. Analiza i przechowywanie danych, Halion, Gliwice, 2015, Wyd. 4
- Kunigk, Buss, Wilkinson, Architecting Modern Data Platforms: a Guide to Enterprise Hadoop at Scale, O'Reilly, 2019
- Ryza, Laserson, Owen, Willis, Spark. Zaawansowana analiza danych, Helion, Gliwice, 2015
- Damij, wenig, Tathagata, Learning Spark, O'Reilly, 2020
- Robinson, Webber, Eifrem, Graph databases: new opportunities for cennected data, O'Reilly, 2015