Курс Big Data
Опис курсу
В результаті проходження курсу студенти опанують сучасні методи та алгоритми теорії інтелектуального аналізу великих даних та машинного навчання.
—
Мета курсу — формування реальних навичок в аналізі, обробці, пошуку шаблонів та побудуванні прогнозів на основі даних.
Після курсу Ви зможете:
- Аналізувати та обробляти великі та надвеликі дані у різних форматах з метою підтримки прийняття рішень
- Знаходити шаблони у великих і надвеликих базах даних та у масивах тексту
- Будувати прогнози з використанням сучасних методів і алгоритмів інтелектуального аналізу даних;
- Використовувати програмне забезпечення для інтелектуального аналізу даних в практичній роботі.
Програма курсу:
1. Вступ в курс. Налаштування середовища. Базові знання і вміння програмування Python і Scala
2. Hadoop, файлова система HDFS і парадигма MapReduc
3. NoSQL середовища. Теорема CAP. Apache Cassandra
4. Apache Spark Core
5. Apache Spark: DataFrames, DataSets
6. Apache Spark: аналіз виконання і оптимізація роботи
7. Задачі машинного навчання з Apache Spark
8. Оркестрація обчислень: Docker + Kubernetes
9. Оркестрація обчислень: Apache Airflow
10. Збираємо все в одне ціле: пишемо проект на Apache Spark з аналізом вхідних даних і записом в Cassandra
11. Оркестрація проєкту за допомогою Apache Airflow
12. Візуалізація результату в Grafana
Мінімальні вимоги:
- Дуже бажане (але не обов’язкове) володіння знаннями з теорії ймовірностей: дискретна та неперервна випадкова величина, математичне сподівання, дисперсія, умовне математичне сподівання;
- Володіння на початковому рівні мовою програмування Python.
* Примітка: зазначені знижки не сумуються з іншими діючими акціями та спеціальними пропозиціями. Знижка застосовується тільки до нових заявок та при умові повної оплати курсу. Якщо у Вас виникли питання, звертайтеся за консультацією до наших менеджерів!
Тривалість курсу: 21 год.