🗄️ Большие данные (Big Data)
Большие данные (Big Data) — это огромные объёмы структурированных и неструктурированных данных, которые традиционные системы обработки не могут эффективно обработать. Big Data включает в себя технологии хранения, обработки и анализа петабайтов данных.
Характеристики Big Data (5 V)
📦 Volume (Объём)
Огромные объёмы данных: терабайты, петабайты, эксабайты. Современные системы генерируют данные в невероятных масштабах — от сенсоров IoT до социальных сетей.
⚡ Velocity (Скорость)
Высокая скорость генерации и обработки данных в реальном времени. Потоковые данные требуют мгновенной обработки: биржевые котировки, логи, события безопасности.
🎨 Variety (Разнообразие)
Различные типы данных: структурированные (таблицы), полуструктурированные (JSON, XML), неструктурированные (текст, видео, аудио, изображения).
✅ Veracity (Достоверность)
Качество и надёжность данных. Данные могут быть неполными, противоречивыми или содержать шум. Важно обеспечить очистку и валидацию данных.
💎 Value (Ценность)
Извлечение полезной информации и ценности из данных. Цель Big Data — превратить огромные объёмы информации в actionable insights.
Экосистема Hadoop
Основные технологии Big Data
- 🐘 HDFS — распределённая файловая система Hadoop
- 🔄 MapReduce — модель параллельной обработки данных
- ⚡ Apache Spark — быстрая обработка данных в памяти
- 📊 Apache Hive — SQL-запросы к данным в HDFS
- 📨 Apache Kafka — платформа потоковой передачи данных
- 🗃️ HBase — NoSQL база данных на Hadoop
- 🔍 Apache Drill — SQL для неструктурированных данных
- 🌊 Flink — потоковая обработка в реальном времени