Казанский (приволжский) федеральный университет высшая школа информационных технологий и

Скачать 357 Kb.

Название	Казанский (приволжский) федеральный университет высшая школа информационных технологий и
страница	1/10
Тип	Реферат

rykovodstvo.ru > Руководство эксплуатация > Реферат

1 2 3 4 5 6 7 8 9 10

Федеральное государственное автономное образовательное учреждение
высшего образования
КАЗАНСКИЙ (ПРИВОЛЖСКИЙ) ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ

ВЫСШАЯ ШКОЛА ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И
ИНФОРМАЦИОННЫХ СИСТЕМ
Направление подготовки: 09.03.03 – Прикладная информатика
ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА

Кластерная потоковая обработка данных для Интернета Вещей

Работа завершена:

«___»_____________2017 г.

Студент группы 11-511 ____________________ Н. Н. Ибатулин
Работа допущена к защите:

Научный руководитель

старший научный сотрудник, к.н.

«___»_____________2017 г. ____________________ С. Дистефано
Директор Высшей школы ИТИС
«___»_____________2017 г. __________________ А.Ф. Хасьянов
Казань – 2017 г.

Содержание

ВВЕДЕНИЕ 2

1. ПОТОКОВАЯ ОБРАБОТКА ДАННЫХ 5

1.1. Основные определения 5

1.2. Обзор инструментов (фреймворков) потоковой обработки данных 7

1.3. Выводы и выбор фреймворка 9

2. ВВЕДЕНИЕ В APACHE NIFI 10

2.1. Описание Apache NiFi и его возможностей 10

2.2. Основные концепции NiFi 10

2.3. Преимущества NiFi 12

2.4. Архитектура NiFi 13

2.5. Кластер Apache NiFi 14

2.6. Безопасность в Apache NiFi 20

3. ЗАПУСК КЛАСТЕРА APACHE NIFI В РАЗЛИЧНЫХ ОКРУЖЕНИЯХ 22

3.1. Запуск в виртуальной среде 22

3.2. Запуск кластера на граничных устройствах 24

3.3. Рекомендации запуска NiFi на Raspberry Pi 24

4. ДИНАМИЧЕСКОЕ ФОРМИРОВАНИЕ КЛАСТЕРА APACHE NIFI 27

4.1. Обнаружение устройств в локальной сети 27

4.2. Выбор способа поиска устройств 30

4.3. Возможности Apache Zookeeper для создание кластера 30

4.3. Программа для обнаружение и подключение устройств к кластеру 32

4.4. Формирование списка кандидатов кластера 34

ЗАКЛЮЧЕНИЕ 35

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 36

ВВЕДЕНИЕ

По прогнозам CISCO, к 2020 году общее число подключенных к интернету устройств достигнет 50 млрд [1]. Объем трафика устройств передающих информацию в центрально место или облако будет только расти. Если принять, что среднее подключенное к сети устройство к 2020г. будет выдавать в 10 раз больше данных (например, 100 МБ на устройство ежемесячно в сравнении с текущими 10 МБ ежемесячно), то для 50 млрд. устройств объем данных вырастет до 50 трлн. ГБ [2].

Быстрый рост и распространение технологий Интернета вещей и Всеобъемлющего Интернета представляются неизбежными [1]. Возникают задачи, как обрабатывать все эти данные и понимать их. В связи с этим растет потребность в анализе потока данных на границе сети [52], так как многократный рост трафика может оказать негативное влияние на архитектуры сетей, к которым подключатся огромное количество различных IoT устройств [2]. Чтобы извлечь из этого максимальную пользу, необходимо обрабатывать и анализировать данные, которые генерируют все эти объекты, в реальном времени. Для такого рода приложений, работающих в реальном времени и генерирующий больший объем трафика, необходима новая распределенная модель, в которой функционал облачных вычислений, сетевого взаимодействия и хранения спускается с облака на землю, на самую границу сети [52][53], формируя новый слой – туманных вычислений [52].

Туманные вычисления решают ряд самых распространенных сегодня проблем, среди которых [52]:

высокая задержка в сети;
трудности, связанные с подвижностью конечных узлов;
потеря связи;
высокая стоимость интернет трафика.

Туманные вычисления не требуют использование мощных серверов, которые требуются в облачных технологиях. В основном, такие вычисления выполняются на маломощных и рассредоточенных устройствах вроде тех, что в последнее время стали использоваться в автомобилях, городских системах, электроснабжении — в целом, практически всюду. Без необходимости эти устройства не обмениваются данными с облаком [52].

Интернет вещей способствует сдвигу архитектуры к границе сети, приближая аналитик, обработку и даже приложения к источникам данных и делая возможным в реальном времени реагировать на информацию поступающую в реальном времени [53][54][55].

Актуальность данной работы обусловлена необходимостью высокоуровневого подхода к управлению взаимодействия Интернета вещей и обработки данных на устройствах находящихся ближе к источнику данных [48][49], включая мобильные устройства [50], с возможностью объединения и распределения обработки данных на границе сети, обеспечивающие пользователям доступ в реальном времени к данным, прогнозам и трендам [51].

Основной целью данной работы является разработка подходов к кластерной потоковой обработки данных при взаимодействии Интернета Вещей и реализация решений на основании данных подходов.

Объектом исследования является процесс создания и разработки кластерной потоковой обработки данных для Интернета Вещей в парадигме Туманных вычислений.

Предметом исследования является платформа для кластерной обработки потоковых данных для Интернета Вещей.

Для достижения поставленной цели необходимо решить следующие задачи:

Обзор и анализ существующих решений и инструментов.
Определить среду разработки и инструменты.
Настроить среду разработки для симуляций и тестирования платформы.
Разработка решений для кластерной потоковой обработки и их проверка на различных устройствах.

1 2 3 4 5 6 7 8 9 10

Похожие:

	Казанский (приволжский) федеральный университет высшая школа информационных технологий и Автоматизация построения интерактивной 3D-карты «Паспорт безопасности» в образовательных учреждениях		Казанский (приволжский) федеральный университет высшая школа информационных технологий и Разработка алгоритма поиска дешевых маршрутов для систем бронирования авиабилетов
	Казанский (приволжский) федеральный университет высшая школа информационных технологий и Разработка мобильного клиента на ос андроид для системы предсказания характеристик химических веществ и реакций		Казанский (приволжский) федеральный университет высшая школа информационных технологий и С каждым годом появляется огромное количество разнообразного нового функционала для мобильных устройств, которые сегодня во много...
	Казанский (приволжский) федеральный университет высшая школа информационных технологий и Деркачев Н. В., Деркачев В. И., Быльев Ю. В., Медведева А. Н., Афанасьев Р. В. Расчет зон разрушений зданий и сооружений при взрывах...		Казанский (приволжский) федеральный университет высшая школа информационных технологий и Казани побывало 2 миллиона туристов [2]. Численность туристов будет продолжать расти, так как уже летом 2018 года Казань примет 21-ый...
	Казанский (приволжский) федеральный университет высшая школа информационных технологий и Примерами таких компаний являются интернет магазины; предприятия, в которых есть специальный системы, работающие в режиме реального...		Программа развития фгаоу во «Казанский (Приволжский) федеральный университет» (далее кфу) Приволжский) федеральный университет (далее – кфу) на 2010–2019 годы была утверждена распоряжением Правительства Российской Федерации...
	Программа развития фгаоу во «Казанский (Приволжский) федеральный университет» (далее кфу) Приволжский) федеральный университет (далее – кфу) на 2010–2019 годы была утверждена распоряжением Правительства Российской Федерации...		Российской федерации федеральное государственное автономное образовательное учреждение Высшего профессионального образования ˝казанский (приволжский) федеральный университет˝
	Н. Г. Багаутдинова Казанский (Приволжский) федеральный университет,... Казанский (Приволжский) федеральный университет, директор Института управления, экономики и финансов, доктор экономических наук профессор...		Национальный исследовательский университет "Высшая школа экономики"... Разработка предметно-ориентированного языка описания структуры и содержания электронных документов
	Фгаоувпо «казанский (приволжский) федеральный университет» утверждаю... Вопросы экзамена по специальности 12. 00. 08 – Уголовное право и криминология; уголовно-исполнительное право		Уважаемые абитуриенты, планирующие поступать в кфу в 2017 году! Спасибо,... Казанский (Приволжский) Федеральный Университет – один из лучших классических университетов России
	Регуляция I и II типов программированной клеточной гибели т-лимфоцитов... Работа выполнена в нил биохимии нуклеиновых кислот кафедры биохимии фгаоувпо «Казанский (Приволжский) федеральный университет», г....		Правила внутреннего распорядка общежитий Общие положения Правила) федерального государственного автономного образовательного учреждения высшего профессионального образования «Казанский (Приволжский)...

Руководство, инструкция по применению