Python >> Tutoriel Python >  >> Python Tag >> NLTK

nltk wordpunct_tokenize vs word_tokenize

wordpunct_tokenize est basé sur une simple tokenisation d'expression régulière. Il est défini comme

wordpunct_tokenize = WordPunctTokenizer().tokenize

que vous pouvez trouver ici. Fondamentalement, il utilise l'expression régulière \w+|[^\w\s]+ pour diviser l'entrée.

word_tokenize par contre est basé sur un TreebankWordTokenizer , voir les docs ici. Il symbolise essentiellement le texte comme dans le Penn Treebank. Voici un exemple idiot qui devrait montrer en quoi les deux diffèrent.

sent = "I'm a dog and it's great! You're cool and Sandy's book is big. Don't tell her, you'll regret it! 'Hey', she'll say!"
>>> word_tokenize(sent)
['I', "'m", 'a', 'dog', 'and', 'it', "'s", 'great', '!', 'You', "'re", 
 'cool', 'and', 'Sandy', "'s", 'book', 'is', 'big', '.', 'Do', "n't", 'tell',
 'her', ',', 'you', "'ll", 'regret', 'it', '!', "'Hey", "'", ',', 'she', "'ll", 'say', '!']
>>> wordpunct_tokenize(sent)
['I', "'", 'm', 'a', 'dog', 'and', 'it', "'", 's', 'great', '!', 'You', "'",
 're', 'cool', 'and', 'Sandy', "'", 's', 'book', 'is', 'big', '.', 'Don',
 "'", 't', 'tell', 'her', ',', 'you', "'", 'll', 'regret', 'it', '!', "'", 
 'Hey', "',", 'she', "'", 'll', 'say', '!']

Comme nous pouvons le voir, wordpunct_tokenize divisera à peu près tous les symboles spéciaux et les traitera comme des unités distinctes. word_tokenize d'autre part conserve des choses comme 're ensemble. Cela ne semble pas si intelligent, car comme nous pouvons le voir, il ne parvient pas à séparer le guillemet simple initial de 'Hey' .

Fait intéressant, si nous écrivons la phrase comme ceci à la place (guillemets simples comme délimiteur de chaîne et guillemets doubles autour de "Hey") :

sent = 'I\'m a dog and it\'s great! You\'re cool and Sandy\'s book is big. Don\'t tell her, you\'ll regret it! "Hey", she\'ll say!'

nous obtenons

>>> word_tokenize(sent)
['I', "'m", 'a', 'dog', 'and', 'it', "'s", 'great', '!', 'You', "'re", 
 'cool', 'and', 'Sandy', "'s", 'book', 'is', 'big', '.', 'Do', "n't", 
 'tell', 'her', ',', 'you', "'ll", 'regret', 'it', '!', '``', 'Hey', "''", 
 ',', 'she', "'ll", 'say', '!']

donc word_tokenize sépare les guillemets doubles, mais les convertit également en `` et '' . wordpunct_tokenize ne fait pas ça :

>>> wordpunct_tokenize(sent)
['I', "'", 'm', 'a', 'dog', 'and', 'it', "'", 's', 'great', '!', 'You', "'", 
 're', 'cool', 'and', 'Sandy', "'", 's', 'book', 'is', 'big', '.', 'Don', 
 "'", 't', 'tell', 'her', ',', 'you', "'", 'll', 'regret', 'it', '!', '"', 
 'Hey', '",', 'she', "'", 'll', 'say', '!']