    САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
КАФЕДРА КОМПЬЮТЕРНОГО МОДЕЛИРОВАНИЯ И
МНОГОПРОЦЕССОРНЫХ СИСТЕМ
МАГИСТЕРСКАЯ ДИССЕРТАЦИЯ
Тема: «Комплексная информационная система, предназначенная для верификации моделей конвективных облаков»
Направление:
|
02.04.02 – ФИиИТ
|
Магистерская программа:
|
ВМ.5502.2014 – Вычислительные технологии
|
|
|
|
|
Выполнил студент гр. 633
|
Петров Дмитрий Алексеевич
|
Научный руководитель,
к. ф.-м. н., доцент
|
Е. Н. Станкова
|
Санкт-Петербург – 2016
Содержание
1.1. Понятие консолидации 15
1.2. Основные задачи консолидации и источники данных 16
1.3. Обобщенная схема процесса консолидации 17
1.4. Понятие ETL-процесса 18
1.5. Основные цели и задачи процесса ETL 18
1.6. Извлечение данных в ETL 19
1.7. Преобразование данных в ETL 21
1.8. Загрузка данных в базу данных 22
2.1. Классификация моделей конвективных облаков 25
2.2. Описание полуторамерной нестационарной модели конвективного облака 26
3.1. Основы реляционной базы данных 28
3.2. Этапы проектирования реляционной базы данных 30
3.3. Организация реляционной базы данных 31
для специализированной метеорологической информации 31
4.1. Понятие многомерной базы данных 36
4.2. Основы многомерного представления данных 37
4.3. Структура многомерного куба 38
4.4. Основные операции над измерениями гиперкуба 39
4.5. Архитектура OLAP-систем 40
4.6. Технические аспекты многомерного хранения данных 43
4.7. Загрузка данных в хранилище данных 44
4.8. Организация многомерной базы данных для специализированной метеорологической информации 45
5.1. Выбор источников данных 48
5.2. Извлечение данных из гетерогенных источников 54
5.3. Преобразование и очистка данных 56
5.4. Загрузка данных из гетерогенных источников в БД 58
5.5. Моделирование интегральных и спектральных характеристик конвективного облака 59
5.6. Загрузка данных в хранилище данных 61
5.7. Анализ многомерного куба данных с целью определения диапазонов параметров для конвективного явления 64
6.1. Тестирование разработанной системы 66
6.2. Демонстрация разработанной системы 67
Введение
В настоящее время как никогда актуальна проблема прогнозирования опасных конвективных явлений, таких как грозы, град, шквал и обильные осадки в связи с увеличением частоты этих явлений и масштабов разрушений, которые они производят. Информация о наступлении таких явлений нужна в первую очередь аэропортам, авиакомпаниям и службам МЧС.
Для прогнозирования и изучения конвективных явлений используются специально разработанные математические модели. Однако, проверка работоспособности и «настройка» таких моделей очень сложна из-за отсутствия в свободном доступе интегрированных данных о месте и времени наблюдаемых явлений в сочетании с метеорологическими данными, используемых в качестве начальных и граничных условий в этих моделях.
В настоящее время Всемирная метеорологическая организация поддерживает проведение натурных исследований, направленных на получение полной метеорологической информации, которая позволяет осуществлять сравнение результатов моделирования с данными наблюдений за реальными облаками и связанными с ними опасными явлениями погоды. При этом получение таких данных осуществляется в ходе проведения комплексных полевых экспериментов с использованием дорогостоящих приборов, радиолокаторов разных видов, самолетов и планеров. Соответственно, такие эксперименты являются крайне затратными и проводятся очень редко.
Однако, для получения статистически достоверных данных о пригодности модели для прогнозирования, необходимо проводить большие серии численных экспериментов. Для этого необходима программная среда, где такие эксперименты можно было бы проводить в автоматическом режиме с использованием интуитивно понятного интерфейса. Важными компонентами этой среды должны стать реляционная база данных, которая будет хранить консолидированные исходные данные и многомерная база данных, позволяющая анализировать результаты расчетов по модели.
Разработкой специализированных систем, предназначенных для сбора и обработки метеорологической информации, занимаются многие фирмы и научные институты. Например, Raytheon Company разработала систему ITWS (Integrated Terminal Weather System) [58], которая обеспечивает автоматизированный сбор метеорологической информации, предназначенной для использования авиадиспетчерами и руководителями полетов в районе аэродрома. ITWS предоставляет как оперативные данные, так и высокоточные прогнозы ожидаемых погодных условий. ITWS собирает информацию практически из всех доступных источников, включая различные датчики, радиолокаторы и прогностические модели.
ООО «Перспективные методы мониторинга» (Advanced Monitoring Methods) [55], используют SQL (Structured Query Language – язык структурированных запросов) для сбора метеорологических данных, их проверки, построения графиков, формирования оповещений и отчетов. Структура базы данных позволяет проводить сравнение и интеграцию данных из различных источников.
Институт радарной метеорологии (IRAM) [57] предоставляет специализированные системы для авиационных метеорологов, осуществляет сбор данных от метеорологических спутников, мировых центров прогнозирования погоды, сетей метеорологических станций и аэродромов.
Метеорологическая система усвоения данных (MADIS) [62] разработана в Национальном управлении океанических и атмосферных исследований (NOAA) и предназначена для сбора, интеграции, контроля качества и распространения данных метеонаблюдений. Данные MADIS можно получить через Интернет, используя специальное программное обеспечение Unidata's Local Data Manager (LDM). Пользователи могут оформить подписку на всю базу данных или запросить только отдельные наборы, которые представляют для них интерес.
Большая часть описанных выше систем предоставляет данные на коммерческой основе (ITWS, DAS, IRAM) и, следовательно, они не всегда могут быть доступны для научно-исследовательских организаций. Кроме того, данные хранятся в большинстве случаев как статические архивы на компьютерных дисках и других внешних носителях, что затрудняет выборку необходимой информации. И что самое главное, имеющиеся метеорологические данные не могут быть непосредственно использованы для верификации моделей конвективных облаков в связи с отсутствием локализованной комплексной информации о виде опасного конвективного явления, месте и времени его наблюдения и о сопровождавших явление атмосферных условиях. Таким образам, имеется возможность извлечь данные о состоянии атмосферы в определенном месте и в определенный день, но невозможно получить информацию из той же базы данных или архива о наличии или отсутствии в данном месте и в данное время какого-либо опасного явления. Для этого необходимо искать другой источник информации.
Кроме верификации модели ее необходимо настроить на определение типа конвективного явления, поскольку многие модели не имеют, например, «электрического» блока, позволяющего однозначно прогнозировать грозовые явления. Мы предлагаем такую настройку проводить с помощью многомерного анализа.
В настоящее время многомерный анализ широко используется в интересах бизнеса для повышения качества принятия решений, быстрого построения всевозможных отчетов по продажам различных товаров в различных торговых точках, а также для решения некоторых прикладных проблем [5, 49]. Мы пытаемся применить преимущества многомерного подхода для анализа специализированной метеорологической информации.
Разработанный нами программный продукт позволит: во-первых, проанализировать источники метеорологической информации и выяснить, в каком виде она хранится, во-вторых, – спроектировать специализированную базу для хранения интегрированных метеорологических данных, в-третьих, – разработать программную среду, предоставляющую интерфейс для доступа к базе интегрированных данных и позволяющую осуществлять численные эксперименты с помощью модели, а также хранить результаты расчетов и впоследствии иметь возможность их анализировать с помощью многомерной базы данных [4].
Система, рассмотренная в выпускной квалификационной работе уникальна по нескольким причинам. Во-первых, она может быть предоставлена на бесплатной основе, что делает ее доступной всем, желающим начать исследования в направлении конвективных облаков. Во-вторых, она может быть подстроена под любые первоначальные источники получения метеорологической информации. И, наконец, в-третьих, благодаря тому, что система построена на принципе OLAP-кубов ее оперативность позволяет обрабатывать большой объем данных за короткие сроки.
Постановка задачи
Целью работы является разработка программного продукта, предназначенного для интеграции и анализа специализированной метеорологической информации.
Для достижения поставленной цели, необходимо решить следующие задачи:
провести анализ источников метеорологической информации, необходимой для верификации физико-математической модели конвективного облака;
провести анализ процесса интеграции данных и его типов;
осуществить проектирование реляционной базы данных для интегрированных метеорологических данных;
провести анализ существующих многомерных хранилищ данных, их функциональных возможностей и подходов к реализации;
разработать многомерную базу данных для хранения и анализа интегрированной метеорологической информации;
разработать программную среду и провести её тестирование;
провести тестовые численные эксперименты, направленные на верификацию модели конвективного облака и прогнозирование типов опасных конвективных явлений с использованием разработанного программного продукта.
Обзор литературы
При написании данной выпускной квалификационной работы были проанализированы различные источники: научная и учебно-методическая литература, статьи в периодических изданиях, касающиеся технологий многомерных баз данных и консолидации. В результате анализа всех найденных как русскоязычных, так и англоязычных ресурсов по данной тематике был сделан вывод, что основными источниками, раскрывающими теоретические и практические основы технологии консолидации данных и многомерных хранилищ данных, явились работы таких авторов как: Паклин Н. Б., Орешкова В. И «Бизнес-аналитика от данных к знаниям»; Богданов А. В., Станкова Е. Н., Тхурейн К. Л. «Распределенные базы данных»; Барсегян А. А., Куприянов М. С., Степаненко В. В., Холод И. И. Методы и модели анализа данных: OLAP и Data Mining, а также Cameron Scott. Microsoft SQL Server 2008. Analysis Services. Step by Step. При этом лишь отдельные главы данных источников определяют практические аспекты выбранной темы. В основном вся информация носит сугубо теоретический характер. Тем не менее, исходя из знаний, полученных из названных выше источников, было четко сформулировано понимание вопроса.
В научном издании Паклина Н. Б., Орешковой В. И «Бизнес-аналитика от данных к знаниям» вторая глава целиком посвящена консолидации данных. В ней подробно описаны задачи этой технологии, дано ее четкое определение, указаны основные критерии оптимальности, объяснен принцип подбора источников данных. Также присутствует подробная структурная схема всего процесса консолидации данных, с помощью которой читателю не составит труда определить план создаваемой программной среды. В книге обозначены и подробно описаны процессы, которые лежат в основе процедуры консолидации. В пункте 9 главы 2 четко определены цели и задачи комплекса методов ETL, который лежит в основе процедуры консолидации. Что касается многомерного подхода, то рассматривая вторую и четвертую главы можно получить сведения о базовой структуре OLAP-кубов и манипуляций над ними, а также необходимые знания о специфике OLAP-анализа.
Книга Богданова А.В., Станковой Е.Н. и Тхурейна К.Л. «Распределенные базы данных» во многом дублирует предыдущий источник касательно технологии консолидации данных, но отчасти и дополняет имеющуюся информацию. В ней конкретно определены цели консолидации, указаны примеры источников данных, подробно описаны последовательные этапы этого процесса.
Представленный в пособиях Барсегяна А. А., Куприянова М. С., Степаненко В. В., Холода И. И. «Методы и модели анализа данных: OLAP» и Харинатха С., Куинна С. Data Mining и SQL Server «Analysis Services 2005 и MDX для профессионалов» материал содержит принципы разработки и исследования основных методов анализа данных, а также соответствующие подходы к проектированию многомерных хранилищ данных. Информация изложена четко и последовательно, применяемая терминология соответствует общепринятой, пособие в достаточной степени иллюстративно примерами и имеет множество готовых сценариев разработки, что позволяет получить наиболее детальное представление об OLAP-технологии. Каждая глава книги автономна настолько, насколько это возможно, что позволяет достаточно быстро изучить основные концепции, связанные с OLAP-кубами, являющимися одной из ключевых частей системы, представленной в данной работе. Тем не менее, уровень данного пособия не в полной мере соответствует уровню, необходимому для разработки такой комплексной системы, как представленная в этой работе.
Также необходимо отметить, что труд авторов Харинатха С., Куинна С. детально разъясняет практическую сторону вопроса разработки многомерных хранилищ данных и управления ими. Данное пособие в основном ориентировано на рассмотрение конкретных примеров, начав с которых, можно самостоятельно перейти к разработке крупномасштабных хранилищ данных, которые будут полезны для анализа и выявления закономерностей данных.
Таким образом, из перечисленных выше источников был получен весь необходимый объем теоретической информации. Однако, практическая сторона вопроса освещена в научной и учебной литературе более скудно или представленные практические примеры не отвечают масштабу, необходимому для серьезных проектов.
Были проанализированы не только основные, но и смежные отрасли знаний, так как они имеют непосредственное прикладное значение в данной выпускной квалификационной работе. Это такие отрасли как проектирование реляционных баз данных, необходимых для хранения специализированной метеорологической информации; моделирование атмосферных процессов, которое является особенно актуальным, поскольку математическое моделирование – основной метод научного познания закономерностей исследуемой системы, позволяющий совершенствовать объект изучения; проектирование и разработка сложных многоуровневых Web-приложений с помощью СУБД MySQL и языка программирования PHP.
Для изучения процесса проектирования реляционных баз данных были проанализированы издания следующих авторов: Бегга К., Дарвина Х., Дейта К. Дж., Евсеевой О. Н., Ершова Г. Н., Кодда Е. Ф., Коннолли Т., Скакун В. В., Шамшева А.Б. Говоря о степени изученности проблемы с уверенностью можно констатировать, что реляционные базы данных описаны в теоретической и практической литературе весьма широко. Практически в каждом труде, посвященном этой теме, большое внимание уделяется практическому аспекту. Базовыми работами на эту тему можно назвать Кодда Е. Ф. «Реляционная модель данных для больших совместно используемых банков данных» в пер. с англ. М. П. Когаловского и Дейта К. Дж. «Введение в системы баз данных».
Эдгар Кодд является основоположником реляционных баз данных. В 1970 году он опубликовал по данной тематике первую статью, и она по сей день актуальна. Вместе с ним работал над развитием реляционных СУБД Кристофер Дейт, автор классического учебника «Введение в системы баз данных», который как стандартный текст по системам баз данных используется во многих университетах мира.
Таким образом, отрасль проектирования реляционных баз данных уже давно изучена многими учеными и не смотря на свою актуальность утратила научную новизну.
Для анализа моделирования атмосферных процессов основной использованной литературой стали книги и статьи авторов: Ампиловой Н. Б., Веремеева Н. Е., Довгалюк Ю. А., Раба Н. О., Синькевич А. А., Станковой Е. Н. Khain A., Krugliak H., Ovtchinnikov M., Pinsky M., Pokrovsky A.
Анализируя данные источники была получена вся необходимая информация касательно начальных и граничных условий для модели конвективного облака. Это и стало основой для выбора данных-параметров, которые требуется консолидировать, а также определило структуру спроектированной базы данных. Поскольку нестационарные модели конвективных облаков весьма актуальны, они все еще имеют научную новизну и можно использовать современные источники, так как эта тема постоянно разрабатывается и дополняется новой информацией.
Изучая средства для Web-разработки упор, в основном, шел на труды следующих авторов: Бибо Б., Веллинга Л., Каца И., Костарева А., Котерова Д., Ташкова П. А., Томсона Л., Шкрыль А. А., Шлосснейгла Дж., DuBois P., Khalid M. I. Можно выделить самые значимые из них: Котеров Д., Костарев А. «PHP 5», Шлосснейгл Дж. «Профессиональное программирование на PHP», DuBois P. «MySQL», Ташков П. А. «Веб-мастеринг. HTML, CSS, JavaScript, PHP, CMS, AJAX, раскрутка».
Книга Котерова Д., Костарева А. «PHP 5» помогает освоить азы программирования на языке PHP 5. В ней содержатся основы изучения, начиная с базовых понятий и заканчивая разработкой малых проектов. Она послужит хорошей основой для начинающих программистов. Для более глубокого изучения данного языка поможет следующее издание – Шлосснейгл Дж. «Профессиональное программирование на PHP».
В книге Шлосснейгла Дж. очень подробно описан язык программирования PHP 5. Данное издание может помочь в полной мере освоить технически сложные приемы, тонкости и особенности этого языка. Книга, несмотря на указание «для профессионалов», доступна для понимания, обладает множеством примеров и не имеет лишней информации.
Издание DuBoisP. «MySQL» с первых страниц поражает количеством содержащейся в нем информации. Вся она строго структурирована, разбита на главы, в которых без проблем можно найти нужные данные. В книге описаны не только язык SQL, но и основные проблемы его взаимодействия с языками высокого уровня PHP API, Perl DBI, C API. Также можно найти и рекомендации по оптимизации запросов.
По работе Ташкова П.А. «Веб-мастеринг. HTML, CSS, JavaScript, PHP, CMS, AJAX, раскрутка» можно освоить лишь основные принципы языков, но она незаменима, если есть необходимость выбора конкретного языка для более детального изучения. Конечно, за 30 страниц, отведенных в этой книге, например, PHP и AJAX, невозможно досконально изучить их, но этого достаточно, чтобы понять спектр их применения и основные понятия.
Глава 1. Технология консолидации данных
На основе данных, предоставляемых из гетерогенных источников стало ясно, что необходимо провести анализ технологий, позволяющих интеграцию данных (более подробно о выборе источников в главе 5). Необходимо, чтобы в результате работы этой технологии, данные извлекались из гетерогенных источников, становились надлежащего качества и размещались в базе данных должным образом.
Интеграция данных включает объединение данных, находящихся в различных источниках, и предоставление их пользователю в унифицированном виде. Существует три основных метода интеграции данных: федерализация, распространение и консолидация [1].
Федерализация данных – это обеспечение единой виртуальной картины одного или нескольких источников исходных данных. Федерализация позволяет извлекать данные из различных источников, объединять их и представлять пользователю в режиме реального времени. При этом физического перемещения данных не происходит.
Приложения, реализующие распространение данных, осуществляют их копирование из одного места в другое. При этом данные не подвергаются никакой обработке и не могут быть доведены до необходимого уровня качества.
Из сказанного выше были сделаны выводы о том, что эти технологии не позволяют добиться нужного результата, поскольку в федерализации нет возможности разместить данные в базу данных (БД), а технология распространения не позволяет улучшить качество данных.
Консолидация же позволяет извлекать данные из гетерогенных источников, обеспечивать необходимый уровень их информативности и качества, преобразовывать в единый формат и загружать их в БД [28].
|
