Verwendungen von Klasse
opennlp.tools.tokenize.TokenSample
Packages, die TokenSample verwenden
Package
Beschreibung
Experimental package related to converting various corpora to OpenNLP Format.
Experimental package related to the
Arvores Deitadas corpus
format.Experimental package related to the CoNNL-U format.
Experimental package related to the Irish Sentence Bank format.
Experimental package related to the
MASC
corpus format.Contains classes related to finding token or words in a string.
-
Verwendungen von TokenSample in opennlp.tools.cmdline.tokenizer
Methoden in opennlp.tools.cmdline.tokenizer mit Parametern vom Typ TokenSampleModifizierer und TypMethodeBeschreibungvoid
DetokenEvaluationErrorListener.misclassified
(TokenSample reference, TokenSample prediction) void
TokenEvaluationErrorListener.misclassified
(TokenSample reference, TokenSample prediction) -
Verwendungen von TokenSample in opennlp.tools.formats
Methoden in opennlp.tools.formats, die Typen mit Argumenten vom Typ TokenSample zurückgebenModifizierer und TypMethodeBeschreibung -
Verwendungen von TokenSample in opennlp.tools.formats.ad
Methoden in opennlp.tools.formats.ad, die Typen mit Argumenten vom Typ TokenSample zurückgebenModifizierer und TypMethodeBeschreibung -
Verwendungen von TokenSample in opennlp.tools.formats.conllu
Methoden in opennlp.tools.formats.conllu, die TokenSample zurückgebenMethoden in opennlp.tools.formats.conllu, die Typen mit Argumenten vom Typ TokenSample zurückgebenModifizierer und TypMethodeBeschreibung -
Verwendungen von TokenSample in opennlp.tools.formats.convert
Methoden in opennlp.tools.formats.convert, die TokenSample zurückgebenModifizierer und TypMethodeBeschreibungNameToTokenSampleStream.read()
POSToTokenSampleStream.read()
Methoden in opennlp.tools.formats.convert, die Typen mit Argumenten vom Typ TokenSample zurückgebenModifizierer und TypMethodeBeschreibung -
Verwendungen von TokenSample in opennlp.tools.formats.irishsentencebank
Methoden in opennlp.tools.formats.irishsentencebank, die TokenSample zurückgebenModifizierer und TypMethodeBeschreibungIrishSentenceBankDocument.IrishSentenceBankSentence.getTokenSample()
Methoden in opennlp.tools.formats.irishsentencebank, die Typen mit Argumenten vom Typ TokenSample zurückgebenModifizierer und TypMethodeBeschreibung -
Verwendungen von TokenSample in opennlp.tools.formats.masc
Methoden in opennlp.tools.formats.masc, die TokenSample zurückgebenMethoden in opennlp.tools.formats.masc, die Typen mit Argumenten vom Typ TokenSample zurückgebenModifizierer und TypMethodeBeschreibung -
Verwendungen von TokenSample in opennlp.tools.tokenize
Methoden in opennlp.tools.tokenize, die TokenSample zurückgebenModifizierer und TypMethodeBeschreibungstatic TokenSample
Parses a string sample.protected TokenSample
DetokenizerEvaluator.processSample
(TokenSample reference) protected TokenSample
TokenizerEvaluator.processSample
(TokenSample reference) TokenizerStream.read()
TokenSampleStream.read()
Methoden in opennlp.tools.tokenize mit Parametern vom Typ TokenSampleModifizierer und TypMethodeBeschreibungTokSpanEventStream.createEvents
(TokenSample tokenSample) Adds training events to the event stream for each of the specifiedsample
.protected TokenSample
DetokenizerEvaluator.processSample
(TokenSample reference) protected TokenSample
TokenizerEvaluator.processSample
(TokenSample reference) Methodenparameter in opennlp.tools.tokenize mit Typargumenten vom Typ TokenSampleModifizierer und TypMethodeBeschreibungvoid
TokenizerCrossValidator.evaluate
(ObjectStream<TokenSample> samples, int nFolds) Starts the evaluation.static TokenizerModel
TokenizerME.train
(ObjectStream<TokenSample> samples, TokenizerFactory factory, TrainingParameters mlParams) Trains a model for theTokenizerME
.Konstruktorparameter in opennlp.tools.tokenize mit Typargumenten vom Typ TokenSampleModifiziererKonstruktorBeschreibungTokSpanEventStream
(ObjectStream<TokenSample> tokenSamples, boolean skipAlphaNumerics) Initializes a new event stream based on the data stream using aTokenContextGenerator
that relies on aDefaultTokenContextGenerator
.TokSpanEventStream
(ObjectStream<TokenSample> tokenSamples, boolean skipAlphaNumerics, Pattern alphaNumeric, TokenContextGenerator cg) Initializes a new event stream based on the data stream using aTokenContextGenerator
.TokSpanEventStream
(ObjectStream<TokenSample> tokenSamples, boolean skipAlphaNumerics, TokenContextGenerator cg) Initializes a new event stream based on the data stream using aTokenContextGenerator
.WhitespaceTokenStream
(ObjectStream<TokenSample> tokens) Initializes aWhitespaceTokenStream
. -
Verwendungen von TokenSample in opennlp.tools.tokenize.lang.en
Methoden in opennlp.tools.tokenize.lang.en, die TokenSample zurückgeben