Comment utiliser l'intelligence artificielle pour extraire les verbes ?

Introduction

NLP pour

• N atural
• L anguage
• P rocessing

soit

• T raitement du
• L angage
• N aturel

Sommaire

1. Fonctionnement

2. Projet

NLP - Fonctionnement

Méthode d'apprentissage, théorie

Il existe plusieurs familles d’apprentissages utilisées pour les librairies de NLP qui ont évolué avec le temps.

• Méthodes basées sur des règles
• Modèles de Machine Learning
• Modèles de Deep Learning

NLP - Fonctionnement

Librairies et capacités

J'utilise la librairie NLP appelés Spacy, qui est assez récente mais plus rapide. Voici ce dont est capable Spacy:

• La tokenisation ou word segmentation ( bonjour | les | amis )

• lemmatization (trouvaient -> trouver)

• P.O.S tagging (nature du mot)

• dependency parsing ("que" peut avoir plusieurs signification)

Premier projet: Détection des verbes

Etape 0: initialisation

import spacy
nlp = spacy.load("en_core_web_sm")

Etape 1: Récupérer le fichier et le rendre compréhensible:

Pour le language de programmation.

def get_text_from_file(files):
    with open(files, 'r') as myfile:
        text = myfile.read()
    return text

Pour la librairie de NLP

doc = nlp(text)

Premier projet

Etapes 2: Récupérer les verbes du texte

1. Définir un liste
2. Prendre chacun des tokens...
3. Regarder uniquement la nature des mots, si la nature est "verbe"...
4. Ajouter forme canonique a l a liste.

Premier projet

Etapes 2: Récupérer les verbes du texte

def get_text(doc):
    verbes = []
    for token in doc:
        if token.pos_ == "VERB"
            verbes.append(token.lemma_)
        return verbes

Il ne reste plus qu'a éxécuter les fonctions a la chaine.

def main(files):
  texte = get_text_from_file("Téléchargement/alice.txt")
  doc = nlp(texte)
  verbes = get_text(doc)
  print(verbes)