Inteligencia artificial aplicada · Investigación
Transformers para clasificación de intenciones en lenguaje natural
Experimento documentado
Experimentación con DistilRoBERTa y Banking77 para clasificar intenciones bancarias, acompañada de análisis crítico de errores y explicaciones generadas con Falcon-7B-Instruct.
Contexto y problema
Las consultas bancarias breves pueden compartir vocabulario y expresar intenciones diferentes. El trabajo estudia su clasificación y una segunda cuestión: si un modelo de lenguaje puede ofrecer explicaciones útiles cuando otro clasificador se equivoca.
Objetivo
Evaluar un clasificador Transformer para las intenciones de Banking77 y analizar críticamente las explicaciones generadas para una selección de errores. El trabajo está documentado como una experimentación individual.
Enfoque técnico
El flujo utiliza distilroberta-base para clasificación de texto y Falcon-7B-Instruct para preparar interpretaciones posteriores de las predicciones incorrectas. Ambos modelos cumplen funciones diferentes: uno asigna la intención y el otro produce una explicación a partir de la consulta y de las etiquetas.
- Texto del usuario
- Tokenización
- Modelo Transformer
- Clasificación de intención
- Análisis de resultados
Metodología documentada
El notebook utiliza Banking77, con 77 categorías, y separa una parte de los datos de entrenamiento para validación estratificada, conservando el conjunto de prueba para la evaluación final.
El código contempla análisis exploratorio, tokenización, ajuste fino de DistilRoBERTa durante tres épocas y selección del modelo por F1 macro de validación. Calcula accuracy, precisión, recall y F1 macro y prepara el análisis por clase y de las confusiones.
Posteriormente, selecciona predicciones incorrectas para generar explicaciones con Falcon-7B-Instruct y revisarlas según coherencia, fundamentación en la consulta, explicación de la confusión y cumplimiento del formato.
Herramientas y resultados documentados
La implementación utiliza Python, PyTorch y Hugging Face Transformers en un entorno preparado para Google Colab con GPU. El notebook conserva el flujo de preparación, ajuste, evaluación y análisis de explicaciones.
El aprendizaje central es distinguir una explicación lingüísticamente convincente de una explicación fundamentada en el comportamiento real del clasificador. Las interpretaciones de Falcon se construyen después de la predicción y no utilizan los pesos ni los estados internos de DistilRoBERTa.
Limitaciones y estado actual
Experimento documentado. Las explicaciones son post hoc, no atribuciones causales verificadas. La revisión de una selección de errores es exploratoria y no equivale a una evaluación representativa de todos los fallos.
La reproducción requiere consolidar dependencias, modelos y recursos de cómputo. Este caso presenta la metodología y el análisis cualitativo, sin extrapolar sus conclusiones a sistemas bancarios productivos.