Python >> Tutoriel Python >  >> Python Tag >> Gensim

Gensim Word2Vec sélectionne un ensemble mineur de vecteurs de mots à partir d'un modèle pré-entraîné

Merci à cette réponse (j'ai un peu modifié le code pour l'améliorer). vous pouvez utiliser ce code pour résoudre votre problème.

nous avons tous nos ensembles mineurs de mots dans restricted_word_set (il peut s'agir d'une liste ou d'un ensemble) et w2v est notre modèle, voici donc la fonction :

import numpy as np

def restrict_w2v(w2v, restricted_word_set):
    new_vectors = []
    new_vocab = {}
    new_index2entity = []
    new_vectors_norm = []

    for i in range(len(w2v.vocab)):
        word = w2v.index2entity[i]
        vec = w2v.vectors[i]
        vocab = w2v.vocab[word]
        vec_norm = w2v.vectors_norm[i]
        if word in restricted_word_set:
            vocab.index = len(new_index2entity)
            new_index2entity.append(word)
            new_vocab[word] = vocab
            new_vectors.append(vec)
            new_vectors_norm.append(vec_norm)

    w2v.vocab = new_vocab
    w2v.vectors = np.array(new_vectors)
    w2v.index2entity = np.array(new_index2entity)
    w2v.index2word = np.array(new_index2entity)
    w2v.vectors_norm = np.array(new_vectors_norm)

AVERTISSEMENT : lorsque vous créez le modèle pour la première fois, le vectors_norm == None vous obtiendrez donc une erreur si vous utilisez cette fonction ici. vectors_norm obtiendra une valeur de type numpy.ndarray après la première utilisation. donc avant d'utiliser la fonction essayez quelque chose comme most_similar("cat") de sorte que vectors_norm ne pas être égal à None .

Il réécrit toutes les variables liées aux mots basés sur les Word2VecKeyedVectors.

Utilisation :

w2v = KeyedVectors.load_word2vec_format("GoogleNews-vectors-negative300.bin.gz", binary=True)
w2v.most_similar("beer")

[('bières', 0.8409687876701355),
('lager', 0.7733745574951172),
("Bière", 0.71753990650177),
('boissons', 0.668931245803833),
('lager', 0.6570086479187012),
('Yuengling_Lager', 0.655455470085144),
('microbrasserie', 0.6534324884414673),
('Brooklyn_Lager', 0.6501551866531372),
('mousse', 0.6497018337249756),
('bière_brassée', 0.6490240097045898)]

restricted_word_set = {"beer", "wine", "computer", "python", "bash", "lagers"}
restrict_w2v(w2v, restricted_word_set)
w2v.most_similar("beer")

[('lager', 0.6570085287094116),
('vin', 0.6217695474624634),
('bash', 0.20583480596542358),
('ordinateur', 0.06677375733852386),
('python', 0.005948573350906372)]

il peut également être utilisé pour supprimer certains mots.