文本处理
文本统计
分别查看可见字符、码点、UTF-8 字节和非空行,明确统计口径。
- 可见字符单元
- 0
- 不含空白
- 0
- Unicode 码点
- 0
- UTF-8 字节
- 0
- 非空行
- 0
工具不会保存输入。关闭或刷新页面前,请自行保留需要的结果。最多输入 200000 个 UTF-16 单元。
使用方法
- 点击“载入示例”查看输入格式,或粘贴你要处理的内容。
- 统计结果随输入自动更新,每一项都标明了统计口径。
- 确认结果符合你的用途后再复制或继续使用。
适用范围与限制
语言模型通常先把文本编码为 token。不同模型和编码器会把同一段中英文文本切成不同数量的 token,标点、空格和代码也会影响结果。因此,本工具不估算模型 token 数,也不据此估计费用或剩余上下文。
如果你要检查模型输入是否超限,应使用该模型对应的分词器或接口返回的用量。字符统计适合检查表单长度和文本规模,不适合代替账单或上下文窗口验证。
详细说明:字数、字符数和字节数,为什么对不上? →