Inteligencia artificial aplicada · Investigación

Transformers para clasificación de intenciones en lenguaje natural

Experimento documentado

Experimentación con DistilRoBERTa y Banking77 para clasificar intenciones bancarias, acompañada de análisis crítico de errores y explicaciones generadas con Falcon-7B-Instruct.

Contexto y problema

Las consultas bancarias breves pueden compartir vocabulario y expresar intenciones diferentes. El trabajo estudia su clasificación y una segunda cuestión: si un modelo de lenguaje puede ofrecer explicaciones útiles cuando otro clasificador se equivoca.

Objetivo

Evaluar un clasificador Transformer para las intenciones de Banking77 y analizar críticamente las explicaciones generadas para una selección de errores. El trabajo está documentado como una experimentación individual.

Enfoque técnico

El flujo utiliza distilroberta-base para clasificación de texto y Falcon-7B-Instruct para preparar interpretaciones posteriores de las predicciones incorrectas. Ambos modelos cumplen funciones diferentes: uno asigna la intención y el otro produce una explicación a partir de la consulta y de las etiquetas.

Clasificación y análisis de resultados
  1. Texto del usuario
  2. Tokenización
  3. Modelo Transformer
  4. Clasificación de intención
  5. Análisis de resultados

Metodología documentada

El notebook utiliza Banking77, con 77 categorías, y separa una parte de los datos de entrenamiento para validación estratificada, conservando el conjunto de prueba para la evaluación final.

El código contempla análisis exploratorio, tokenización, ajuste fino de DistilRoBERTa durante tres épocas y selección del modelo por F1 macro de validación. Calcula accuracy, precisión, recall y F1 macro y prepara el análisis por clase y de las confusiones.

Posteriormente, selecciona predicciones incorrectas para generar explicaciones con Falcon-7B-Instruct y revisarlas según coherencia, fundamentación en la consulta, explicación de la confusión y cumplimiento del formato.

Herramientas y resultados documentados

La implementación utiliza Python, PyTorch y Hugging Face Transformers en un entorno preparado para Google Colab con GPU. El notebook conserva el flujo de preparación, ajuste, evaluación y análisis de explicaciones.

El aprendizaje central es distinguir una explicación lingüísticamente convincente de una explicación fundamentada en el comportamiento real del clasificador. Las interpretaciones de Falcon se construyen después de la predicción y no utilizan los pesos ni los estados internos de DistilRoBERTa.

Limitaciones y estado actual

Experimento documentado. Las explicaciones son post hoc, no atribuciones causales verificadas. La revisión de una selección de errores es exploratoria y no equivale a una evaluación representativa de todos los fallos.

La reproducción requiere consolidar dependencias, modelos y recursos de cómputo. Este caso presenta la metodología y el análisis cualitativo, sin extrapolar sus conclusiones a sistemas bancarios productivos.