|
ИСТИНА |
Войти в систему Регистрация |
ФНКЦ РР |
||
Хранилища данных. Анализ данных. (Для 3 курс ВВО)учебный курс
- Автор: Барашков Игорь Сергеевич
- Год создания: 2019
- Организация: МГУ имени М.В. Ломоносова
- Описание: Технология хранилищ данных предназначена для хранения и анализа больших объемов данных с целью дальнейшего обнаружения в них скрытых закономерностей и, наряду с технологией Data Mining (Интеллектуальный анализ данных), входит в понятие «предсказательная аналитика». Data Mining, в свою очередь, изучает процесс нахождения новых, действительных и потенциально полезных знаний в базах данных. Хранилище данных (ХД) – предметно-ориентированный, интегрированный, редко меняющийся, поддерживающий хронологию набор данных, организованный для целей поддержки принятия решений. Предметная ориентация означает, что ХД интегрируют информацию, отражающую различные точки зрения на предметную область. Интеграция предполагает, что данные, хранящиеся в ХД, приводятся к единому формату. Поддержка хронологии означает, что все данные в ХД соответствуют последовательным интервалам времени. SQL Server Integration Services – платформа в составе MS SQL Server для выполнения операций извлечения, преобразования и загрузки, которая обеспечивает заполнение ХД и его синхронизацию с данными из различных источников, которые используются бизнес-приложениями организации. Службы Microsoft SQL Server Integration Services (SSIS) предназначены для построения надежных и сложных высокопроизводительных решений интеграции данных и решений потока операций, включая операции по извлечению, преобразованию и загрузке данных (Extract, Transform, Load –ETL) для хранилищ данных. Инструменты служб Integration Services обеспечивают проектирование, создание и управление пакетами, ориентированными на повседневные задачи бизнеса. Разработка приложения SQL Server Integration Services в MS SQL Server начинается с создания проекта Службы SQL Server Integration Services (SSIS) в среде SQL Server Data Tools (SSDT). Понятие и модель данных OLAP OLAP (Online Analytical Processing) – технология оперативной аналитической обработки данных, использующая методы и средства для сбора, хранения и анализа многомерных данных в целях поддержки процессов принятия решений. Основное назначение OLAP-систем – поддержка аналитической деятельности, произвольных запросов пользователей – аналитиков. Цель OLAP-анализа – проверка возникающих гипотез. В процессе анализа данных часто возникает необходимость построения зависимостей между различными параметрами, число которых может быть значительным. Возможность анализа зависимостей между различными параметрами предполагает возможность представления данных в виде многомерной модели – гиперкуба, или OLAP-куба. Существует три основных способа реализации многомерной модели – MOLAP (Multidimensional OLAP), ROLAP (Relation OLAP) и HOLAP (Hybrid OLAP). SQL Server Analysis Services Разработка приложения бизнес-аналитики в MS SQL Server начинается с создания проекта Службы Analysis Services в среде SQL Server Data Tools (SSDT). В учебном курсе учебный материал по разработке приложения бизнес-аналитики разбит на 10 занятий. Занятие 1. Определение представления источников данных в проекте служб Analysis Services Занятие 2. Определение и развертывание куба Занятие 3. Изменение мер, атрибутов и иерархий Занятие 4. Определение расширенных свойств атрибутов и измерений Занятие 5. Определение связей между измерениями и группами мер Занятие 6. Определение вычислений Занятие 7. Определение ключевых показателей эффективности Занятие 8. Определение действий Занятие 9. Определение перспектив и переводов Занятие 10. Определение ролей администрирования SQL Server Analysis Services в составе MS SQL Server обеспечивает возможность построения OLAP-решений, включая возможность расчёта ключевых индикаторов производительности (KPI). Microsoft SQL Server Analysis Services (SSAS) является базовой платформой для развития систем бизнес-анализа (Business Intelligence). SSAS обеспечивают высокую производительность работы приложений и масштабируемость на уровне миллионов записей и тысяч пользователей. Data-Mining SQL Server Analysis Services применяется также для построения Data-Mining (Интеллектуальный анализ данных) -решений, которые используют специализированные алгоритмы для выявления трендов и зависимостей в бизнес-данных. В состав Microsoft SQL Server входит интегрированная среда, предназначенная для создания моделей интеллектуального анализа данных и составления прогнозов. Задачи Data Mining: - Задача классификации - Задача регрессии - Задача поиска ассоциативных правил - Задача кластеризации Создаваемые в учебном курсе модели Data Mining построены на основе следующих алгоритмов: • алгоритм дерева принятия решений Microsoft • алгоритм кластеризации Microsoft • упрощенный алгоритм Байеса (Microsoft) SQL Server Reporting Services в составе MS SQL Server -инструментарий построения отчётов, предназначенный для создания, публикации и распространения детализированных бизнес-отчётов, как для внутренних, так и для внешних целей. Учебный материал курса поможет разобраться в системе создания отчета с точки зрения решения для технологии и бизнеса, разобраться в архитектуре служб Reporting Services, создать основной отчет с рядом дополнительных функций, добавить в отчет сводную информацию, настроить фильтр для данных отчета, создать в отчете возможности интерактивной настройки фильтрации и сортировки, добавить в отчет программный код После создания описания отчета его следует разместить в таком месте, где он будет доступен для поиска и обработки приложением и/или пользователями. Службы Reporting Services включают инфраструктуру, необходимую для хранения отчетов в централизованном защищенном репозитории. Размещение производится тремя различными методами: через интерфейс SSDT (SQL Server Data Tools), посредством загрузки RDL-файлов из Report Manager (Диспетчера отчетов) или через создание сценария выполнения операции загрузки RDL-файла и использование утилиты rs.exe для выполнения этого сценария. После размещения отчета определенный механизм должен обеспечить пользователю и/или приложениям возможность найти нужный отчет и запросить его обработку. Службы Reporting Services включают адаптированное к нуждам администраторов и интерактивных пользователей веб-приложение Report Manager (Диспетчер отчета). Для автоматического доступа через приложения службы Reporting Services имеют несколько интерфейсов прикладного программирования (API). По умолчанию, для вывода обработки отчета используется формат HTML. Для пользователей и/или приложений, которым нужен вывод в другом формате, предоставлена функция экспорта. Службы Reporting Services включают не требующую настройки поддержку для самых популярных форматов, таких, как PDF, Microsoft Excel и HTML. Кроме того, службы Reporting Services по умолчанию предоставляют возможность доставки готовых отчетов в файловые хранилища или отправки их по электронной почте.
- Добавил в систему: Барашков Игорь Сергеевич
Преподавание курса
- 9 февраля 2019 - 25 мая 2019 Барашков Игорь Сергеевич
- МГУ имени М.В. Ломоносова, Факультет вычислительной математики и кибернетики
- обязательная, по выбору (спецкурс), лекции, 32 часов
- Автор: Барашков Игорь Сергеевич
- 9 февраля 2019 - 25 мая 2019 Барашков Игорь Сергеевич
- МГУ имени М.В. Ломоносова, Факультет вычислительной математики и кибернетики
- обязательная, по выбору (спецкурс), практические занятия, 32 часов
- Автор: Барашков Игорь Сергеевич