Arquitectura Big Data
Código: IFCT127PO
Objetivos
OBJETIVO GENERAL:
Conocer en profundidad los diferentes paradigmas de procesamiento en sistemas Big Datas y dominar las principales tecnologías y su utilización para el diseño de arquitecturas escalables adaptadas a cada proyecto.
OBJETIVOS ESPECÍFICOS:
Unidad 1
- Conocer la definición de la herramienta Hadoop.
- Conocer la definición de la herramienta Pig.
- Conocer la definición de la herramienta Hive.
- Conocer la definición de la herramienta Sqoop.
- Conocer la definición de la herramienta Flume.
- Conocer la definición de la herramienta Spark Core.
- Conocer la definición de la herramienta Spark 2.0.
- Conocer las funciones y usos de las herramientas anteriormente mencionadas dentro de un entorno adaptado a nuestras necesidades.
Unidad 2
- Conocer Spark Streaming, Kafka, Pulsar y Apache Apex.
- Aprender cómo se lleva a cabo la implementación de las anteriores herramientas en un sistema real-time.
Unidad 3
- Conocer la gestión de la información especializada de las diferentes bases de datos que se van a señalar a lo largo de las unidades.
- Conocer las bases de datos Hbase, Cassandra, MongoDB, Neo4J, Redis y Berkeley DB más detalladamente.
Unidad 4
- Conocer lso tipos de tecnología Lucene y Solr.
- Aprender sus utilidades y los beneficios que pueden aportar a nuestros sistemas.
Unidad 5
- Conocer las diferentes arquitecturas que permite el sistema de computación híbrido.
- Conocer la arquitectura de Lambda y Kappa.
- Conocer Apache Flink, Druid, Elastic Search, Lonftash y Kibana.
Unidad 6
- Conocer las funciones y características de las plataformas Amazon Web Services y Google Cloud Platform.
- Identificar las propiedades y funcionalidades que estas plataformas pueden aportar a nuestras necesidades.
Unidad 7
- Conocer la administración de sistemas BIG.
- Conocer las diferentes herramientas de Administración.
- Gestionar los sistemas con Cloudera.
- Estudiar los procesos de optimización y seguridad.
Unidad 8
- Conocer las distintas herramientas utilizadas para la visualización de datos.
- Ver y comprender el funcionamiento de las principales herramientas.
- Estudiar las diferentes características de las herramientas.
Programa
Evaluación inicial
Presentación
Unidad 1. Batch Processing
Introducción
Objetivos
Mapa Conceptual
1.1. Hadoop
1.2. Pig
1.3. Hive
1.4. Sqoop
1.5. Flume
1.6. Spark Core
1.7. Spark 2.0
Recuerda
Autoevaluación 1
Unidad 2. Streaming Processing
Introducción
Objetivos
Mapa Conceptual
2.1. Fundamentos de Streaming Processing
2.2. Spark Streaming
2.3. Kafka
2.4. Pulsar y Apache Apex
2.5. Implementación de un sistema real-time
Recuerda
Autoevaluación 2
Unidad 3. Sistemas NoSQL
Introducción
Objetivos
Mapa Conceptual
3.1. Hbase
3.2. Cassandra
3.3. MongoDB
3.4. Neo4J
3.5. Redis
3.6. Berkeley DB
Recuerda
Autoevaluación 3
Unidad 4. Interactive Query
Introducción
Objetivos
Mapa Conceptual
4.1. Lucene + Solr
Recuerda
Autoevaluación 4
Unidad 5. Sistemas de computación híbridos
Introducción
Objetivos
Mapa Conceptual
5.1. Arquitectura Lambda
5.2. Arquitectura Kappa
5.3. Apache Flink e implementaciones prácticas
5.4. Druid
5.5. ElasticSearch
5.6. Logstash
5.7. Kibana
Recuerda
Autoevaluación 5
Unidad 6. Cloud Computing
Introducción
Objetivos
Mapa Conceptual
6.1. Amazon Web Services
6.2. Google Cloud Platform
Recuerda
Autoevaluación 6
Unidad 7. Administración de sistemas Big
Introducción
Objetivos
Mapa Conceptual
7.1. Administración e Instalación de clusters: Cloudera y Hortonworks
7.2. Optimización y monitorización de servicios
7.3. Seguridad: Apache Knox, Ranger y Sentry
Recuerda
Autoevaluación 7
Unidad 8. Visualización de datos
Introducción
Objetivos
Mapa Conceptual
8.1. Herramientas de visualización: Tableau y CartoDB
8.2. Librerías de Visualización: D3, Leaflet, Cytoscape
Recuerda
Autoevaluación 8
Examen
Bibliografía
Glosario