GigaToken 发布：语言模型分词速度最高提升约 1000 倍，可无缝替代 HuggingFace Tokenizers

GigaToken 是一款新的语言模型分词器，在 AMD EPYC 9565 双路 144 核 CPU 上对 GPT-2 分词速度达 24.53 GB/s，比 HuggingFace Tokenizers 快 989 倍、比 tiktoken 快 681 倍。

AI HOT 详情：https://aihot.virxact.com/items/cmrwh01sr01qyroj0qdt3mo09

原文链接：https://github.com/marcelroed/gigatoken