Analysis and control of online interactions through neural natural language processing - Archive ouverte HAL Access content directly
Theses Year : 2022

Analysis and control of online interactions through neural natural language processing

Analyse et contrôle des interactions en ligne avec des réseaux neuronaux artificiels de traitement automatique du langage naturel

(1)
1

Abstract

Natural Language Processing is motivated by applications where computers should gain a semantic and syntactic understanding of human language. Recently, the field has been impacted by a paradigm shift. Deep learning architectures coupled with self-supervised training have become the core of state-of-the-art models used in Natural Language Understanding and Natural Language Generation. Sometimes considered as foundation models, these systems pave the way for novel use cases. Driven by an academic-industrial partnership between the Institut Polytechnique de Paris and Google Ai Research, the present research has focused on investigating how pretrained neural Natural Language Processing models could be leveraged to improve online interactions.This thesis first explored how self-supervised style transfer could be applied to the toxic-to-civil rephrasing of offensive comments found in online conversations. In the context of toxic content moderation online, we proposed to fine-tune a pretrained text-to-text model (T5) with a denoising and cyclic auto-encoder loss. The system, called CAE-T5, was trained on the largest toxicity detection dataset to date (Civil Comments) and generates sentences that are more fluent and better at preserving the initial content compared to earlier text style transfer systems, according to several scoring systems and human evaluation. Plus the approach showed it could be generalized to additional style transfer tasks, such as sentiment transfer.Then, a subsequent work investigated the human labeling and automatic detection of toxic spans in online conversations. Contrary to toxicity detection datasets and models which classify whole posts as toxic or not, toxic spans detection aims at highlighting toxic spans, that is to say the spans that make a text toxic, when detecting such spans is possible. We released a new labeled dataset to train and evaluate systems, which led to a shared task at the 15th International Workshop on Semantic Evaluation. Systems proposed to address the task include strongly supervised models trained using annotations at the span level as well as weakly supervised approaches, known as rationale extraction, using classifiers trained on potentially larger external datasets of posts manually annotated as toxic or not, without toxic span annotations. Furthermore, the ToxicSpans dataset and systems proved useful to analyze the performances of humans and automatic systems on toxic-to-civil rephrasing.Finally, we developed a recommender system based on online reviews of items, taking part in the topic of explaining users' tastes considered by the predicted recommendations. The method uses textual semantic similarity models to represent a user's preferences as a graph of textual snippets, where the edges are defined by semantic similarity. This textual, memory-based approach to rating prediction holds out the possibility of improved explanations for recommendations. The method is evaluated quantitatively, highlighting that leveraging text in this way can outperform both memory-based and model-based collaborative filtering baselines.
Le traitement automatique du langage naturel est motivé par des applications où les ordinateurs doivent acquérir une compréhension sémantique et syntaxique du langage humain. Récemment, le domaine a été impacté par un changement de paradigme. Les architectures d'apprentissage profond couplées à des techniques d'apprentissage auto-supervisé sont devenues le cœur des modèles correspondant à l'état de l'art en compréhension et génération du langage naturel. Parfois considérés comme des “foundation models”, ces systèmes ouvrent la voie à de nouveaux cas d'utilisation. Née d'un partenariat académique et industriel entre l'Institut Polytechnique de Paris et Google AI Research, la présente recherche s'est concentrée sur l'étude de la façon dont les modèles neuronaux de traitement du langage naturel pré-entraînés pouvaient être utilisés pour améliorer les interactions en ligne. Cette thèse a d'abord exploré comment le transfert de style auto-supervisé pouvait être appliqué à la reformulation non-toxique de commentaires offensants dans les conversations en ligne. Dans le contexte de la modération de contenu toxique en ligne, nous avons proposé une méthode de réglage fin d'un modèle texte-à-texte pré-entraîné (T5) avec une fonction-objectif consistant en un auto-encodeur débruiteur cyclique. Le système, baptisé CAE-T5, a été entraîné sur le plus grand jeu de données de détection de toxicité publié à ce jour (Civil Comments) et génère des phrases plus fluides et préservant mieux le contenu initial, comparé aux systèmes antérieurs de transfert de style de texte, selon plusieurs systèmes d'évaluation automatique et une étude faisant appelle à l'évaluation humaine. De plus, l'approche a montré qu'elle pouvait être généralisée à d'autres tâches de transfert de style, comme le transfert de sentiments. Ensuite, les travaux de recherche ont porté sur l'étude de l'annotation humaine et la détection automatique des sous-ensembles de mots toxiques dans les conversations en ligne. Contrairement aux jeux de données et aux modèles de détection de toxicité qui classifient des messages entiers comme toxiques ou non, la détection des mots toxiques vise à mettre en évidence les mots responsables de la toxicité du message, lorsqu'une telle détection est possible. Nous avons publié un nouveau jeu de données annoté pour entraîner et évaluer les systèmes automatiques, ce qui a conduit à une tâche partagée lors du 15e International Workshop on Semantic Evaluation. Les systèmes proposés pour cette tâche comprennent des modèles fortement supervisés, entraînés à l'aide d'annotations au niveau des mots, ainsi que des approches faiblement supervisées, connues sous le nom d'extraction de raisons, utilisant des classifieurs entraînés sur des ensembles de données externes, potentiellement plus importants, de messages annotés manuellement comme toxiques ou non, sans annotations à l'échelle des mots. En outre, le jeu de données et les systèmes se sont avérés utiles pour analyser les performances des systèmes automatiques et des humains en matière de reformulation des messages toxiques en messages civils.Enfin, nous avons développé un système de recommandation basé sur des avis en ligne, s'inscrivant dans l'explicabilité des préférences prises en compte par les recommandations prédites. La méthode utilise des modèles basés sur la similarité sémantique textuelle pour représenter les préférences d'un utilisateur sous la forme d'un graphe de fragments de texte, où les arrêtes sont définies par la similarité sémantique. Ce modèle de prédiction de notes à mémoire, basé sur le texte, offre la possibilité d'améliorer les explications des recommandations. La méthode est évaluée quantitativement, et nous permet de conclure que l'exploitation du texte de cette manière peut surpasser les performances de modèles de référence utilisé en filtrage collaboratif.
Fichier principal
Vignette du fichier
113860_LAUGIER_2022_archivage.pdf (2.68 Mo) Télécharger le fichier
Origin : Version validated by the jury (STAR)

Dates and versions

tel-03884481 , version 1 (05-12-2022)

Identifiers

  • HAL Id : tel-03884481 , version 1

Cite

Léo Laugier. Analysis and control of online interactions through neural natural language processing. Artificial Intelligence [cs.AI]. Institut Polytechnique de Paris, 2022. English. ⟨NNT : 2022IPPAT035⟩. ⟨tel-03884481⟩
0 View
0 Download

Share

Gmail Facebook Twitter LinkedIn More