Searched refs:WordpieceTokenizerResult (Results 1 – 4 of 4) sorted by relevance
50 struct WordpieceTokenizerResult struct113 WordpieceTokenizerResult TokenizeIntoWordpieces(const std::string& input);117 WordpieceTokenizerResult TokenizeSingleToken(const std::string& token);121 WordpieceTokenizerResult TokenizeIntoWordpieces(
80 WordpieceTokenizerResult BertTokenizer::TokenizeIntoWordpieces( in TokenizeIntoWordpieces()87 WordpieceTokenizerResult BertTokenizer::TokenizeSingleToken( in TokenizeSingleToken()95 WordpieceTokenizerResult BertTokenizer::TokenizeIntoWordpieces( in TokenizeIntoWordpieces()97 WordpieceTokenizerResult result; in TokenizeIntoWordpieces()
62 WordpieceTokenizerResult BertTokenizer::TokenizeWordpiece( in TokenizeWordpiece()64 WordpieceTokenizerResult result; in TokenizeWordpiece()
53 struct WordpieceTokenizerResult : TokenizerResult { struct117 WordpieceTokenizerResult TokenizeWordpiece(const std::string& input);