Contextualized Construct Representation: Leveraging Psychometric Scales to Advance Theory-Driven Text Analysis. [Virtual Talk]


Date
Nov 3, 2023 11:00 AM
Event
CRISS-LAB Seminar Series II-2023
Location
CRISS-LAB, UDD, Las Condes, Chile.

Abstract:

[ENG]

Over the past decades, text-analysis methods have been slowly integrated into the repertoire of methods used to reliably measure psychological constructs. Yet, many of the existing computational methods in psychological text analysis remain atheoretical and lack the interpretability that social sciences are accustomed to and desire. Here, we introduce a novel method for theory-driven text analysis by bridging the power of contextual language models and common psychometric scales. The new technique, which we call Contextualized Construct Representation (CCR), retains high levels of interpretability and top-down flexibility but makes use of state-of-the-art language models developed in natural language processing (NLP). CCR is a flexible technique that will be able to adapt to the continuously progressing set of tools for language modeling. We discuss how our proposed technique quantifies psychological information in textual data, and demonstrate in two studies (N = 2,996) that CCR outperforms other top-down methods (i.e., word-counting and word-embedding representations) in predicting an array of psychological outcomes common in social and personality psychology, including moral values, the need for cognition, political ideology, strength of norms, and cultural orientation. We provide an accompanying R package, a Python library, and an online interface for researchers to conveniently use CCR in their research.


[ESP]

Durante las últimas décadas, los métodos de análisis de texto se han integrado lentamente en el repertorio de métodos utilizados para medir de manera fiable los constructos psicológicos. Sin embargo, muchos de los métodos computacionales existentes en el análisis de texto psicológico siguen siendo ateóricos y carecen de la interpretabilidad a la que las ciencias sociales están acostumbradas y desean. Aquí, presentamos un método novedoso para el análisis de texto basado en teorías, uniendo el poder de los modelos de lenguaje contextual y las escalas psicométricas comunes. La nueva técnica, a la que llamamos Representación de Constructo Contextualizado (RCC), mantiene altos niveles de interpretabilidad y flexibilidad de arriba hacia abajo, pero aprovecha los modelos de lenguaje de vanguardia desarrollados en procesamiento de lenguaje natural (PLN). RCC es una técnica flexible que será capaz de adaptarse al conjunto en constante progresión de herramientas para el modelado de lenguaje. Discutimos cómo nuestra técnica propuesta cuantifica la información psicológica en datos textuales y demostramos en dos estudios (N = 2,996) que RCC supera a otros métodos de arriba hacia abajo (es decir, conteo de palabras y representaciones de incrustación de palabras) en la predicción de una serie de resultados psicológicos comunes en la psicología social y de la personalidad, incluidos los valores morales, la necesidad de cognición, la ideología política, la fuerza de las normas y la orientación cultural. Proporcionamos un paquete R acompañante, una biblioteca de Python y una interfaz en línea para que los investigadores utilicen cómodamente RCC en sus investigaciones. (Traducido por ChatGPT).

Speaker Bio

Dr. Mohammad Atari is the director of the Culture and Morality Lab at the Department of Psychological and Brain Sciences at the University of Massachusetts Amherst. He is broadly interested in the bidirectional relationship between psychological processes and culture. The current research in his lab uses a diverse array of methodological approaches including experiments, surveys, and computational modeling.