Pruning para redes neuronales basado en informacion relativa

Segun el "information bottleneck principle" (IBP), se interpretan redes neuronales como canales de transmision de informacion, y la dinamica del aprendizaje se traduce en dinamica de condensacion de informacion. Cuantificar "como se acumula informacion" en redes neuronales durante el aprendizaje, permite optimizar estrategias de aprendizaje.
El objetivo de la investigacion es implementar un modelo de "pruning" basado en informacion mutual entre capas de redes neuronales convolucionales, y optimizar el modelo para subir la eficiencia de labelling de imagenes por CNN sencillas.
Hay una componente de programacion de CNN, y una de programacion de optimizacion de informacion relativa. (Para ambas sirve entender las bases teoricas, parcialmente desarrolladas en un proyecto IPRE anterior gestionado por el profesor.)