Добавил модули
This commit is contained in:
@@ -0,0 +1,115 @@
|
||||
import string
|
||||
import nltk
|
||||
|
||||
from modules.pipelines.pipes.pipe_base import *
|
||||
|
||||
class ToLowerCase(PipeBase):
|
||||
"""
|
||||
Преобразует все символы в строке к нижнему регистру
|
||||
"""
|
||||
|
||||
def __init__(self):
|
||||
"""
|
||||
Конструктор
|
||||
"""
|
||||
|
||||
super().__init__("to_lower_case", DataType.String, DataType.String)
|
||||
self.description = "converts all letters to lower case"
|
||||
|
||||
def do(self, data):
|
||||
return data.lower()
|
||||
|
||||
class Split(PipeBase):
|
||||
"""
|
||||
Разбивает строку на токены через разделитель
|
||||
"""
|
||||
|
||||
def __init__(self, name, divider):
|
||||
"""
|
||||
Конструктор
|
||||
:param name: Название пайпа
|
||||
:param divider: Разделитель
|
||||
"""
|
||||
|
||||
super().__init__(name, DataType.String, DataType.StringArray)
|
||||
self.description = "split string into tokens array by divider"
|
||||
self.divider = divider
|
||||
|
||||
def do(self, data: str):
|
||||
return data.split(self.divider)
|
||||
|
||||
class SplitBySpace(Split):
|
||||
"""
|
||||
Разбивает строку на токены через пробелы
|
||||
"""
|
||||
|
||||
def __init__(self):
|
||||
"""
|
||||
Конструктор
|
||||
"""
|
||||
|
||||
super().__init__("split_by_space", " ")
|
||||
self.description = "split string into tokens array by space"
|
||||
|
||||
class Filter(PipeBase):
|
||||
"""
|
||||
Фильтр, базовый класс. Удаляет токены, указанные в конструкторе
|
||||
"""
|
||||
|
||||
def __init__(self, name, tokens_to_remove):
|
||||
"""
|
||||
Конструктор
|
||||
:param name: Название фильтра
|
||||
:param tokens_to_remove: Удаляемые токены
|
||||
"""
|
||||
|
||||
super().__init__(name, DataType.StringArray, DataType.StringArray)
|
||||
self.tokens_to_remove = tokens_to_remove
|
||||
|
||||
def do(self, data):
|
||||
data = [token for token in data if not token in self.tokens_to_remove]
|
||||
return data
|
||||
|
||||
class RemovePunctuationMarks(Filter):
|
||||
"""
|
||||
Фильтр. Удаляет знаки пунктуации
|
||||
"""
|
||||
|
||||
def __init__(self):
|
||||
"""
|
||||
Конструктор
|
||||
"""
|
||||
|
||||
super().__init__("remove_punctuation_marks", [c for c in string.punctuation])
|
||||
self.description = "removes punctuation marks"
|
||||
|
||||
class RemoveStopWords(Filter):
|
||||
"""
|
||||
Фильтр. Удаляет стоп-слова
|
||||
"""
|
||||
|
||||
def __init__(self):
|
||||
"""
|
||||
Конструктор
|
||||
"""
|
||||
|
||||
super().__init__("remove_stop_words", set(nltk.corpus.stopwords.words("english")))
|
||||
self.description = "removes stop words, such as 'the', 'is' and etc"
|
||||
|
||||
class Stem(PipeBase):
|
||||
"""
|
||||
Оставляет от каждого слова только корень
|
||||
"""
|
||||
|
||||
def __init__(self):
|
||||
"""
|
||||
Конструктор
|
||||
"""
|
||||
|
||||
super().__init__("stem", DataType.StringArray, DataType.StringArray)
|
||||
self.description = "stem all words, like 'loving' become 'love'"
|
||||
|
||||
def do(self, data):
|
||||
porter = nltk.stem.porter.PorterStemmer()
|
||||
data = [porter.stem(word) for word in data]
|
||||
return data
|
||||
Reference in New Issue
Block a user