2.8 KiB
2.8 KiB
title, localeTitle
| title | localeTitle |
|---|---|
| Natural Language Processing | Обработка естественного языка |
Обработка естественного языка (НЛП)
Как говорит Википедия, «обработка естественного языка (NLP) является подполем компьютерной науки, информатики и искусственного интеллекта, связанным с взаимодействием между компьютерами и человеческими (естественными) языками, в частности, как программировать компьютеры для обработки и анализа больших объемов данных естественного языка ». Проще говоря, это процесс, в котором естественный язык, порожденный людьми, воспринимается компьютерами.
Проблемы в НЛП
1. Легко или в основном решено
*Spam detection
*Part of Speech Tagging
*Named Entity Recognition
2. Внедрение или достижение хорошего прогресса
*Sentiment analysis
*Coreference resolution
*Word sense disambiguation
*Parsing
*Machine Translation
*Information Translation
3.Гард или еще нужно много работы
*Text Summarization
*Machine dialog system
Общие методы
*Structure extraction
*Identify and mark sentence, phrase, and paragraph boundaries
*Language identification
*Tokenization
*Acronym normalization and tagging
*Lemmatization / Stemming
*Entity extraction
*Phrase extraction
Популярные библиотеки
*NLTK, the most widely-mentioned NLP library for Python.
*SpaCy, an industrial-strength NLP library built for performance.
*Gensim, a library for document similarity analysis.
*TextBlob, a user-friendly and intuitive NLTK interface.
*CoreNLP from stanford group
*PolyGlot, a natural language pipeline that supports massive multilingual applications.
Дополнительная информация:
Для дальнейшего чтения: