xai_api.Tokenize

用于对输入 prompt 进行分词的 API 服务。

方法：xai_api.Tokenize

TokenizeTextunary

将文本转换为 token 序列。

对文本进行分词

import os
import xai_sdk

client = xai_sdk.Client(api_key=os.getenv("XAI_API_KEY"))

tokens = client.tokenize.tokenize_text(
    text="Hello, world!",
    model="grok-4.7",
)

print(f"Token count: {len(tokens)}")
for token in tokens:
    print(f"  {token.token_id}: {token.string_token!r}")

buf curl --schema . --protocol grpc \
  -H "Authorization: Bearer $XAI_API_KEY" \
  --data '{
    "text": "Hello, world!",
    "model": "grok-4.7"
  }' \
  https://api.x.ai/xai_api.Tokenize/TokenizeText

最后更新：2026 年 9 月 2 日