Verwendungen von Schnittstelle
opennlp.tools.tokenize.Tokenizer
Packages, die Tokenizer verwenden
Package
Beschreibung
Experimental package related to the corpus format used by the "brat rapid annotation tool" (brat).
Experimental package related to the
MUC
corpus format.Contains classes related to finding token or words in a string.
This package contains classes for generating sequence features.
-
Verwendungen von Tokenizer in opennlp.tools.cmdline.parser
Methoden in opennlp.tools.cmdline.parser mit Parametern vom Typ Tokenizer -
Verwendungen von Tokenizer in opennlp.tools.formats.brat
Konstruktoren in opennlp.tools.formats.brat mit Parametern vom Typ TokenizerModifiziererKonstruktorBeschreibungBratDocumentParser
(SentenceDetector sentenceDetector, Tokenizer tokenizer) BratDocumentParser
(SentenceDetector sentenceDetector, Tokenizer tokenizer, Set<String> nameTypes) BratNameSampleStream
(SentenceDetector sentDetector, Tokenizer tokenizer, ObjectStream<BratDocument> samples) Creates a newBratNameSampleStream
.BratNameSampleStream
(SentenceDetector sentDetector, Tokenizer tokenizer, ObjectStream<BratDocument> samples, Set<String> nameTypes) Creates a newBratNameSampleStream
. -
Verwendungen von Tokenizer in opennlp.tools.formats.muc
Konstruktoren in opennlp.tools.formats.muc mit Parametern vom Typ TokenizerModifiziererKonstruktorBeschreibungMucNameContentHandler
(Tokenizer tokenizer, List<NameSample> storedSamples) Initializes aMucNameContentHandler
.protected
MucNameSampleStream
(Tokenizer tokenizer, ObjectStream<String> samples) Initializes aMucNameSampleStream
. -
Verwendungen von Tokenizer in opennlp.tools.tokenize
Klassen in opennlp.tools.tokenize, die Tokenizer implementierenModifizierer und TypKlasseBeschreibungclass
A basicTokenizer
implementation which performs tokenization using character classes.class
A thread-safe version ofTokenizerME
.class
ATokenizer
for converting raw text into separated tokens.class
A basicTokenizer
implementation which performs tokenization using white spaces.class
ATokenizer
implementation which performs tokenization using word pieces.Konstruktoren in opennlp.tools.tokenize mit Parametern vom Typ TokenizerModifiziererKonstruktorBeschreibungTokenizerEvaluator
(Tokenizer tokenizer, TokenizerEvaluationMonitor... listeners) Initializes an instance to evaluate aTokenizer
.TokenizerStream
(Tokenizer tokenizer, ObjectStream<String> input) Initializes ainstance
. -
Verwendungen von Tokenizer in opennlp.tools.util.featuregen
Konstruktoren in opennlp.tools.util.featuregen mit Parametern vom Typ TokenizerModifiziererKonstruktorBeschreibungTokenPatternFeatureGenerator
(Tokenizer supportTokenizer) Initializes aTokenPatternFeatureGenerator
instance.