PRESENTACIÓN

El trabajo con datos masivos exige la utilización de infraestructuras computacionales específicamente diseñadas para ellos. Estas infraestructuras difieren de las infraestructuras tradicionales en varios aspectos. Para empezar, es necesario combinar la potencia de cómputo de muchos ordenadores, construyendo lo que se conoce como un cluster de ordenadores. Por otro lado, es necesario utilizar paradigmas de programación que puedan aprovechar la potencia de cómputo del cluster pero de una forma sencilla para el desarrollador encargado de implementar los programas para el análisis de datos masivos. Ambos aspectos pueden desarrollarse utilizando servicios de proveedores en la nube. En esta asignatura se muestran algunas de las tecnologías más importantes que permiten desplegar infraestructuras para el procesamiento de datos masivos. 

Dentro de este Máster es importante adquirir una visión sólida de las herramientas más utilizadas en ese contexto, dado que son esenciales para mover y tratar datos masivos, tanto estructurados como no estructurados.

CONTEXTUALIZACIÓN

La asignatura de "Plataformas para Procesamiento de Datos Másivos" se trata de una asignatura de 5 créditos ECTS, con carácter optativo, impartida en el primer semestre del Máster Universitario en Industria Conectada. Los estudiantes que cursen esta asignatura optativa adquirirán la siguiente competencia específica "Conocer y ser capaz de usar plataformas para el análisis de datos masivos en contextos de industria conectada".

Esta asignatura guarda relación más directa con las siguientes asignaturas también disponibles en el mismo Máster:

• Computación en la Nube para Entorno Industriales
• Visualización y Analítica de Datos Masivos

Se recomienda que los interesados en cursar el Máster tengan un nivel de lectura en inglés suficiente como para entender contenidos técnicos en dicha lengua. Gran parte de la bibliografía, así como los recursos proporcionados al estudiante en el curso virtual pueden estar únicamente en inglés, debido a la novedad de algunos de los contenidos propuestos para la asignatura.

Dado que se verán diferentes tipos de despliegues y/o tecnologías, es necesario que los estudiantes dispongan de solidos conocimientos en sistemas operativos y redes, a nivel de comandos de gestión y manipulación de ficheros (especialmente, Linux).

Se recomienda que los/las estudiantes cuenten con equipos potentes para la realización de los trabajos prácticos, con al menos 16G de memoria. Si usan equipos con menos potencia, pueden experimentar mayor lentitud.

Se fomentará el uso de software libre siempre y cuando sea posible para la realización de las actividades y las practicas propuestas. 

Las consultas sobre los contenidos y funcionamiento de la asignatura se plantearán principalmente en los foros del curso virtual, que serán atendidas por el Equipo Docente de la asignatura.

Para contactar directamente con el Equipo Docente se utilizará preferentemente el correo electrónico, pudiéndose también realizar consultas telefónicas y entrevista personal en los horarios establecidos.

Datos del equipo docente:

Antonio Robles Gómez

Horario: Martes lectivos de 10 a 14 horas

Email: arobles@scc.uned.es

Tfno: 913988480

Agustín C. Caminero Herráez

Horario: Lunes lectivos de 10 a 14 horas

Email: accaminero@scc.uned.es

Tfno: 91 398 9468

Rafael Pastor Vargas

Horario: Lunes lectivos de 16 a 20 horas

Email: rpastor@scc.uned.es

Tfno: 91 398 8383

También es posible consultar con los docentes en la siguiente dirección postal:

ETSI Informática. UNED.

C/Juan del Rosal 16. 28040. Madrid.

Competencias Generales (CG):

CG1 - Diseñar estrategias para organizar y planificar entornos industriales conectados
CG2 - Resolver problemas asociados al diseño o desarrollo de sistemas industriales conectados
CG4 - Ser capaz de gestionar información proveniente de sistemas industriales conectados
CG5 - Ser capaz de diseñar y desarrollar sistemas industriales conectados de manera eficiente

Competencias Básicas (CB):

CB6 - Poseer y comprender conocimientos que aporten una base u oportunidad de ser originales en el desarrollo y/o aplicación de ideas, a menudo en un contexto de investigación
CB7 - Que los estudiantes sepan aplicar los conocimientos adquiridos y su capacidad de resolución de problemas en entornos nuevos o poco conocidos dentro de contextos más amplios (o multidisciplinares) relacionados con su área de estudio
CB8 - Que los estudiantes sean capaces de integrar conocimientos y enfrentarse a la complejidad de formular juicios a partir de una información que, siendo incompleta o limitada, incluya reflexiones sobre las responsabilidades sociales y éticas vinculadas a la aplicación de sus conocimientos y juicios
CB9 - Que los estudiantes sepan comunicar sus conclusiones y los conocimientos y razones últimas que las sustentan a públicos especializados y no especializados de un modo claro y sin ambigüedades
CB10 - Que los estudiantes posean las habilidades de aprendizaje que les permitan continuar estudiando de un modo que habrá de ser en gran medida autodirigido o autónomo

Además, los estudiantes que cursen esta asignatura optativa adquirirán la siguiente competencia específica: Conocer y ser capaz de usar plataformas para el análisis de datos masivos en contextos de industria conectada.

Los resultados que se pretenden alcanzar con el estudio de esta asignatura son los siguientes:

• Distinguir entre las principales herramientas de inyección, programación y almacenamiento de datos masivos, tanto en batch como en streaming. De este modo, se podrán examinar las ventajas y desventajas del uso de un paradigma u otro.
• Diseñar programas para el análisis de datos masivos utilizando las herramientas adecuadas para la inyección, análisis y almacenamiento de dichos datos.
• Describir las características más importantes de las principales arquitecturas de programación de Big Data y de sus formas de despliegue tanto local como en la nube.
• Identificar y seleccionar las diferentes opciones de configuración con el objetivo de optimizar las infraestructuras de Big Data y el desarrollo de algoritmos científicos paralelizables, mejorando así la eficiencia de procesamiento de datos.

Esta asignatura ha sido diseñada para la enseñanza a distancia. Por tanto, el sistema de enseñanza-aprendizaje estará basado en gran parte en el estudio independiente o autónomo del estudiante. Para ello, el estudiante contará con diversos materiales que permitirán su trabajo autónomo y la Guía de Estudio de la asignatura, que incluye orientaciones para la realización de las actividades prácticas. Asimismo, mediante la plataforma virtual de la UNED existirá un contacto continuo entre el equipo docente y los/as estudiantes, así como una interrelación entre los propios estudiantes a través de los foros, importantísimo en la enseñanza no presencial. 

El estudio de esta asignatura se realizará a través de los materiales que el Equipo Docente publicará en el curso virtual. 

Las actividades formativas para el estudio de la asignatura son las siguientes: 

• Estudios de contenidos (50 horas).

• Tutorías en línea (12 horas).

• Actividades en la plataforma virtual: participación en foros y trabajo en grupo (4 horas).

• Activades prácticas / Trabajos:

  • Preparación de trabajos a distancia y pruebas de evaluación continua (9 horas).

  • Actividades prácticas con simuladores, laboratorios virtuales o remotos (50 horas).

Total: 125 horas

Los medios necesarios para el aprendizaje son: 

1. Materiales teórico-prácticos preparados por el Equipo Docente para cubrir los conceptos básicos del temario. 
2. Bibliografía complementaria. El estudiante puede encontrar en ella información adicional para completar su formación. 
3. Curso Virtual de la asignatura, donde el estudiante encontrará: 

• Una guía de la asignatura en la que se hace una descripción detallada del plan de trabajo propuesto. 

• Un calendario con la distribución temporal de los temas propuesta por el Equipo Docente y con las fechas de entrega de las actividades teórico-prácticas que el estudiante tiene que realizar para su evaluación.            

• Enunciado de las actividades teórico-prácticas propuestas y zona donde depositar los entregables asociados a dichas actividades. 

• Los foros por medio de los cuales el Equipo Docente aclarará las dudas de carácter general y que se usarán también para comunicar todas aquellas novedades que surjan a lo largo del curso. Éste será el principal medio de comunicación entre los distintos participantes en la asignatura. 

La bibliografía básica será proporcionada al estudiante dentro del curso virtual, estará compuesta por materiales teórico-prácticos propuestos por el equipo docente. 

Gran parte de la bibliografía, así como los recursos proporcionados al estudiante en el curso virtual pueden estar únicamente en inglés, debido a la actualidad de los contenidos propuestos para la asignatura. 

El Equipo Docente propone una serie de libros disponibles de forma gratuíta dentro de la biblioteca digital de la UNED. Se proporcionan enlaces a los libros que funcionan tras autenticarse en UNED.es:

Título: MapReduce Design Patterns 

Autores: Donald Miner; Adam Shook 

Editorial: O'Reilly Media, Inc. 

Año, 2012 

ISBN-13 en papel: 978-1-4493-2717-0 

URL (solamente funciona tras autenticarse en UNED.es):  

https://learning.oreilly.com/library/view/mapreduce-design-patterns/9781449341954/

Título: Hadoop: The Definitive Guide, 4th Edition 

Autor:Tom White 

Editorial:  O'Reilly Media, Inc. 

Año:  2015 

ISBN-13 en papel: 978-1-4919-0163-2 

URL (solamente funciona tras autenticarse en UNED.es):  

https://learning.oreilly.com/library/view/hadoop-the-definitive/9781491901687/

Título: Practical Hadoop Ecosystem: A Definitive Guide to Hadoop-Related Frameworks and Tools 

Autor: Deepak Vohra 

Editorial: Apress 

Año: 2016 

ISBN-13 en papel: 978-1-4842-2198-3 

URL (solamente funciona tras autenticarse en UNED.es):  

https://learning.oreilly.com/library/view/practical-hadoop-ecosystem/9781484221990/

Título: Designing Data-Intensive Applications 

Autor: Martin Kleppmann 

Editorial: O'Reilly Media, Inc. 

Año: 2017 

ISBN-13 en papel: 978-1-4493-7332-0 

URL (solamente funciona tras autenticarse en UNED.es):  

https://learning.oreilly.com/library/view/designing-data-intensive-applications/9781491903063/

Titulo: Apache Hive Cookbook 

Autores: Hanish Bansal; Saurabh Chauhan; Shrey Mehrotra 

Editorial: Packt Publishing 

Año: 2016. 

ISBN-13 en papel: 978-1-78216-108-0 

ISBN-13 web: 978-1-78216-109-7 

URL (solamente funciona tras autenticarse en UNED.es):  

https://learning.oreilly.com/library/view/apache-hive-cookbook/9781782161080/ 

Título: Hadoop with Python 

Autores: Zachary Radtka, Donald Miner 

Editorial: O’Reilly 

Año: 2015

ISBN: 978-1-491-94227-7 

URL (solamente funciona tras autenticarse en UNED.es):

https://learning.oreilly.com/library/view/hadoop-with-python/9781492048435/

Título: Fast Data Processing with Spark 2 -Third Edition 

Autor: Krishna SankarEditorial: Packt Publishing 

Año:2016ISBN-13 en papel:978-1-78588-927-1 

URL (solamente funciona tras autenticarse en UNED.es):

https://learning.oreilly.com/library/view/fast-data-processing/9781785889271/

Título: Sams Teach Yourself Apache Spark™ in 24 Hours 

Autor: Jeffrey Aven. 

Editorial: SamsAño:2016. 

ISBN-13 en papel:978-0-672-33851-9. 

URL (solamente funciona tras autenticarse en UNED.es):

https://learning.oreilly.com/library/view/sams-teach-yourself/9780134445786/ 

Título: Mastering Apache Spark 2.x -Second Edition 

Autor: Romeo Kienzler 

Editorial: Packt Publishing 

Año:2017 

ISBN-13 en papel:978-1-78646-274-9 

URL (solamente funciona tras autenticarse en UNED.es):

https://learning.oreilly.com/library/view/mastering-apache-spark/9781786462749/ 

Título: Apache Spark 2.x Cookbook 

Autor: Rishi Yadav 

Editorial: Packt Publishing 

Año: 2017 

ISBN-13 en papel:978-1-78712-726-5 

URL (solamente funciona tras autenticarse en UNED.es):

https://learning.oreilly.com/library/view/apache-spark-2x/9781787127265/

Título: Spark for Python Developers 

Autor: Amit Nandi 

Editorial: Packt Publishing 

Año: 2015 

ISBN-13 en Web: 978-1-78439-737-1 

URL (solamente funciona tras autenticarse en UNED.es):

https://learning.oreilly.com/library/view/spark-for-python/9781784399696/

Título: Machine Learning with Spark -Second Edition 

Autor:Rajdeep Dua; Manpreet Singh Ghotra; Nick Pentreath 

Editorial: Packt Publishing 

Año: 2017 

ISBN-13 en papel:978-1-78588-993-6 

URL (solamente funciona tras autenticarse en UNED.es):

https://learning.oreilly.com/library/view/machine-learning-with/9781785889936/

Título: Spark GraphX in Action 

Autor:Michael S. Malak and Robin East 

Editorial: Manning Publications 

Año:2016 

ISBN-13: 978-1-61729-252-1 

URL (solamente funciona tras autenticarse en UNED.es):

https://learning.oreilly.com/library/view/spark-graphx-in/9781617292521/

Título: Spark in Action 

Autor:Petar Zeevi, Marko Bonai 

Editorial: Manning Publications 

Año: 2016 

ISBN-13: 978-1-61729-260-6 

URL (solamente funciona tras autenticarse en UNED.es):

https://learning.oreilly.com/library/view/spark-in-action/9781617292606/

Título: Streaming Systems 

Autor: Reuven Lax, Slava Chernyak, Tyler Akidau 

Editorial: O'Reilly Media, Inc. 

Año: 2018 

ISBN-13: 978-1-49198-387-4 

URL (solamente funciona tras autenticarse en UNED.es):

https://learning.oreilly.com/library/view/streaming-systems/9781491983867/

Título: Kafka: The Definitive Guide 

Autor: Gwen Shapira, Neha Narkhede, Todd Palino 

Editorial: O'Reilly Media, Inc. 

Año: 2017 

ISBN-13: 978-1-49193-616-0 

URL (solamente funciona tras autenticarse en UNED.es):

https://learning.oreilly.com/library/view/kafka-the-definitive/9781491936153/ 

Título: Stream Processing with Apache Spark 

Autor: Francois Garillot, Gerard Maas 

Editorial: O'Reilly Media, Inc. 

Año: 2019 

ISBN-13: 978-1-49194-424-0 

URL (solamente funciona tras autenticarse en UNED.es):

https://learning.oreilly.com/library/view/stream-processing-with/9781491944233/

Los/as estudiantes dispondrán de los siguientes recursos de apoyo al estudio: 

• Guía de la asignatura. Incluye el plan de trabajo y orientaciones para su desarrollo. Esta guía será accesible desde el curso virtual. 

• Curso virtual. A través de esta plataforma los/as estudiantes tienen la posibilidad de consultar información de la asignatura, realizar consultas al Equipo Docente a través de los foros correspondientes, consultar e intercambiar información con el resto de los compañeros/as. 

• Biblioteca. El estudiante tendrá acceso tanto a las bibliotecas de los Centros Asociados como a la biblioteca de la Sede Central, en ellas podrá encontrar un entorno adecuado para el estudio, así como de distinta bibliografía que podrá serle de utilidad durante el proceso de aprendizaje. Además, desde la biblioteca digital de la UNED, el estudiante tendrá acceso a Safari Books Online, una biblioteca digital con más de 30.000 libros técnicos en constante actualización.