|
ИСТИНА |
Войти в систему Регистрация |
ФНКЦ РР |
||
Хранилища данных. Анализ данных (Для 3 курс ВВО)учебный курс
- Автор: Барашков Игорь Сергеевич
- Год создания: 2020
- Организация: МГУ имени М.В. Ломоносова
- Описание: Цель курса: получение теоретических знаний и практических навыков по проектированию и разработке хранилищ данных корпоративного уровня, разработка приложений для работы с такими хранилищами – задачи интеграции данных, система корпоративной отчетности, задачи интеллектуального анализа данных. Хранилища используют как реляционные транзакционные OLTP сервера данных, так и многомерные модели (кубы с иерархическими координатами) OLAP сервера; достижение уровня подготовки для сдачи сертификационного экзамена корпорации Microsoft для разработчиков OLAP и ETL решений, систем корпоративной отчетности. Курс изучается с использованием программных продуктов Microsoft SQL Server и Microsoft Visual Studio в среде SQL Server Data Tools (SSDT). Курс состоит из пяти частей. 1. Первая часть знакомит студентов с понятиями иерархических хранилищ и аналитической обработкой данных на примере Microsoft SQL Server Analysis Services. Изучается универсальная модель данных для OLAP, иерархическое представление данных, основные требования к хранилищам по Кодду. Рассматривается логическая и физическая архитектура OLAP проекта, измерения и функции фактов (меры) в OLAP кубах, разработка кубов, базовой и расширенной функциональности для конечных пользователей. Рассматривается много технических деталей для разработки OLAP проектов – денормализация данных, схемы звезды, снежинки, родители-дети для координат, разрывы данных, иерархии данных по уровням, меры, зависимые и независимые координаты в кубе, кортежи, ячейки, гранулированность (атомарность) данных, агрегатные функции в кубе и хранение агрегированных данных в различном виде, динамика координат в жизненном цикле, статические и динамические элементы в кубе, процессинг и развертывание куба, вопросы оптимизации, производительности, безопасного доступа для многопользовательского режима. 2. Вторая часть курса посвящена изучению языка программирования MDX (Языка Многомерных Выражений – Multidimensional Expressions) для разработки OLAP кубов. Рассматриваются основы языка, выражения, функции и свойства, MDX вычисления на кубе и в измерениях, методы программирования расширенной функциональности в кубе. 3. Третья часть курса позволяет студентам научиться разрабатывать корпоративную от-четность для OLTP и OLAP проектов с помощью SQL Server Reporting Services. Рассматриваются требования к разработке отчетности, процесс разработки и развертывания отчетов на веб-сервер отчетности, управление отчетами, подписки, система безопасности. 4. Четвертая часть курса посвящена крайне важному классу задач интеграции разнородных информационных ресурсов данных. Изучается разработка проектов интеграции данных с помощью SQL Server Integration Services: технические, организационные, экономические требования к процессам интеграции данных, планирование проектов интеграции; потоки управления и потоки данных, контейнеры, пакеты, задачи потока данных, трансформации потока данных, ETL процессы, обработка ошибок в пакетах, ведение журналов. 5. В пятой части студентам дается понятие о системах интеллектуального анализа данных (Data Mining). Дается обзор типов решаемых задач (распознавания, классификации, прогноза) и обзор девяти алгоритмов Data Mining в Microsoft SQL Server. Один из алгоритмов – деревья решений – подробно рассматривается на примере маркетинговой задачи задач классификации и кластеризации групп пользователей для мультинациональной торгово - производственной компании с демонстрацией программного кода. Практическая поддержка курса: семинарские занятия и лабораторные работы. Семинарские и практические занятия Каждую неделю проводится одно практическое занятие по курсу «Хранилища данных. Анализ данных». Практическая часть курса поддержана практикумом – лабораторными работами по каждой теме. Все работы выполняются на компьютере в среде SQL Server Data Tools (SSDT). Теоретическая часть отрабатываются устно на семинарах. Основные цели практикума: - изучение теоретических понятий иерархических хранилищ и аналитической обработки данных; - практическое изучение языка программирования MDX для разработки OLAP кубов; - освоение теоретических и практически навыков в разработке корпоративной отчетности для OLTP и OLAP проектов с помощью SQL Server Reporting Services; - практическое освоение задач интеграции разнородных информационных ресурсов данных; - практическое освоение систем интеллектуального анализа данных; - приобретение практического опыта работы с продуктами Microsoft SQL Server, Microsoft Visual Studio и средой SQL Server Data Tools. Лабораторные работы по каждой теме студенты выполняют на компьютере в учебном классе и дома, показывают их на занятии преподавателю.
- Добавил в систему: Барашков Игорь Сергеевич
Преподавание курса
- 10 февраля 2024 - 25 мая 2024 Барашков Игорь Сергеевич
- МГУ имени М.В. Ломоносова, Факультет вычислительной математики и кибернетики
- обязательная, по выбору (спецкурс), лекции, 36 часов
- Автор: Барашков Игорь Сергеевич
- 10 февраля 2024 - 25 мая 2024 Барашков Игорь Сергеевич
- МГУ имени М.В. Ломоносова, Факультет вычислительной математики и кибернетики
- обязательная, по выбору (спецкурс), практические занятия, 36 часов
- Автор: Барашков Игорь Сергеевич
- 11 февраля 2023 - 27 мая 2023 Барашков Игорь Сергеевич
- МГУ имени М.В. Ломоносова, Факультет вычислительной математики и кибернетики
- обязательная, по выбору (спецкурс), практические занятия, 32 часов
- Автор: Барашков Игорь Сергеевич
- 11 февраля 2023 - 27 мая 2023 Барашков Игорь Сергеевич
- МГУ имени М.В. Ломоносова, Факультет вычислительной математики и кибернетики
- обязательная, по выбору (спецкурс), лекции, 32 часов
- Автор: Барашков Игорь Сергеевич
- 12 февраля 2022 - 28 мая 2022 Барашков Игорь Сергеевич
- МГУ имени М.В. Ломоносова, Факультет вычислительной математики и кибернетики
- обязательная, по выбору (спецкурс), практические занятия, 32 часов
- Автор: Барашков Игорь Сергеевич
- 12 февраля 2022 - 28 мая 2022 Барашков Игорь Сергеевич
- МГУ имени М.В. Ломоносова, Факультет вычислительной математики и кибернетики
- обязательная, по выбору (спецкурс), лекции, 32 часов
- Автор: Барашков Игорь Сергеевич
- 13 февраля 2021 - 29 мая 2021 Барашков Игорь Сергеевич
- МГУ имени М.В. Ломоносова, Факультет вычислительной математики и кибернетики
- обязательная, по выбору (спецкурс), практические занятия, 32 часов
- Автор: Барашков Игорь Сергеевич
- 13 февраля 2021 - 29 мая 2021 Барашков Игорь Сергеевич
- МГУ имени М.В. Ломоносова, Факультет вычислительной математики и кибернетики
- обязательная, по выбору (спецкурс), лекции, 32 часов
- Автор: Барашков Игорь Сергеевич
- 8 февраля 2020 - 23 мая 2020 Барашков Игорь Сергеевич
- МГУ имени М.В. Ломоносова, Факультет вычислительной математики и кибернетики
- обязательная, по выбору (спецкурс), практические занятия, 32 часов
- Автор: Барашков Игорь Сергеевич
- 8 февраля 2020 - 23 мая 2020 Барашков Игорь Сергеевич
- МГУ имени М.В. Ломоносова, Факультет вычислительной математики и кибернетики
- обязательная, по выбору (спецкурс), лекции, 32 часов
- Автор: Барашков Игорь Сергеевич