Contributions to a methodology for the building of modular neural networks

Resumen

La modularidad es un concepto que ha sido aplicado extensamente de cara a resolver problemas complejos. La acción de tomar un elemento de complejidad considerable y dividirlo en varias partes más sencillas puede aplicarse a casi cualquier cosa, pero en el ámbito del software conlleva típicamente el aislamiento y la reutilización de la funcionalidad. En el campo del deep learning, la modularidad se ha visto aplicada en cuanto a lo que arquitectura y algoritmos se refiere, pero no tanto en el aislamiento y reutilización de la funcionalidad aprendida por los distintos modelos. Esta tesis profundiza en el significado y las diversas connotaciones que acarrea la modularidad funcional dentro del campo del deep learning, traduciendo en el proceso algunos de los conceptos y reglas de diseño de software más comunes al ámbito del software aprendido. Asimismo, a raíz de esta reinterpretación de los procesos metodológicos, se deducen una serie de conceptos que son esenciales de cara a la caracterización del entrenamiento y la generalización de las redes neuronales artificiales. Finalmente, y con el objetivo de aumentar el grado de reutilización de la funcionalidad entre modelos, proponemos un marco arquitectónico para redes modulares, así como una serie de reglas y herramientas para el diseño y entrenamiento de módulos neuronales capaces de ser recombinados sin pérdida significativa de utilidad. Además de la validación empírica de los métodos propuestos, demostramos las ventajas del entrenamiento independiente de módulos desde el punto de vista económico, computacional y de extrapolación composicional, aportando ejemplos de aplicación sobre dos arquitecturas neuronales distintas.