普贤教程 › 包参考

seg 包

中文分词（正向最大匹配子集）

项	值
包名	`seg`
版本	`0.2.0`
可用版本	`0.1.0 / 0.2.0`
入口	`seg.px`
分类	`文本与中文处理`
文件数 / 行数	`1 / 166`

安装与引入

bash

pxpkg init          # 首次
pxpkg add seg@0.2.0
pxpkg install

import seg

所属分类教程：文本与中文处理

公开接口

函数	参数
`sg_build`	`words`
`sg_tokenize`	`s, extra_words = []`

其余 7 个 def（内部与辅助，可直接调用但不属稳定接口）

函数	参数
`sg_dict`
`sg_han`	`c`
`sg_alnum`	`c`
`sg_tokenize_max`	`s, max_len, extra_words = []`
`sg_tokenize_default`	`s`
`sg_count`	`s, extra_words=[]`
`sg_has_word`	`word, extra_words=[]`

包内说明（源码头注释）

text

============================================================
普贤生态库：registry/seg —— 中文分词（正向最大匹配子集）
------------------------------------------------------------
纯函数库（无 IO、无状态），编译（px build）与解释（px run）双模式一致。
sg_tokenize("我爱中国")          → ["我", "爱", "中国"]
sg_tokenize("我们学习语文")       → ["我们", "学习", "语文"]
sg_tokenize(s, ["大模型"])        → 可注入自定义词（合并到内置词典）
sg_build(words)                  → dict（构造临时词典）
实现：正向最大匹配（FMM）；默认最长 4 字；ASCII/数字连续串为单个 token；
非中文（标点/中文未知字）单字成词。
词典：内置常见二字/三字词子集（数据表可扩展）。
============================================================
内置词典（常用词子集；逗号分隔）