预训练:基础模型

Step 0 / 5

预训练流程

按空格逐步展示流程节点
语料收集与预处理 互联网文本 · 清洗去重
分词编码 token → ID
模型训练 next token
自回归生成 逐步生成

特点

模块二
文本建模
概率生成
语料模式
few-shot 迁移
方向键 / 空格:推进或回退