课题 B｜本地翻译更快以后，数字、否定和条件还可靠吗？

查新截至 2026-09-07

建议定位：最容易把测量看清楚的起步项，论文新颖性暂弱。 与 MTOpt 的本地推理经验衔接。先不研发量化算法，不做多设备排行榜。

量化可以粗略理解为：用更省空间的数值表示模型参数。它能改变内存与运行表现，也可能改变输出。我们要测的是具体影响，而不是预设“越小越差”或“更快一定更好”。

你要知道什么

对技术说明而言，把“只有开启 X 才执行 Y”翻成“开启 X 就总是执行 Y”，可能比措辞不优美更严重。你可以问：降低参数精度时，平均翻译分数变化不大，但这些关键含义是否更容易出错？在你的本地环境中，换来的等待时间缩短是多少？

“更容易出错”现在是假设。若结果不支持，也是一份有用的配置选择报告。

查新结果

Marie 与 Fujita，The Uneven Impact of Post-Training Quantization in Machine Translation，2025-08-28 已比较翻译中的多种量化方法，包含 GGUF，并检查解码与校准设置。因此“量化对翻译质量的影响”已有直接研究。

Zhao 等，Studying quantization trade-offs for efficient inference deployment in machine translation，2026-07-31 已把量化、切块、质量和效率结合，在 A100/H100 环境研究部署取舍。因此加上“切块”也不能自动变新。

你的 Apple 或普通电脑环境与那些服务器实验不同，但换硬件本身通常只足以支持环境复现。潜在研究价值要依赖具体错误模式、影响范围和解释；目前未确认技术说明关键错误这一细分问题为空白。

先只动一个主要因素

选择一个能运行、支持目标语言的小模型，固定一个语言方向，建议先选自己能判断的英译中。从同一原始权重得到较高精度与量化版本，例如 F16、Q8_0、Q4_K_M。它们是存储精度或量化格式名称；F16 也不是正确答案，只是参考配置。

模型可从EuroLLM-1.7B-Instruct 官方卡 这样的候选开始评估，卡片列出中英文并标 Apache-2.0。本次没有测试具体 llama.cpp 版本的兼容性。先验证你的机器可运行；F16 装不下就换更小模型，而不是把 Q8 当无误基准。

1.7B 参数以每参数两字节粗算，权重约 3.4GB，实际还要运行时和缓存内存。不能据此承诺 4GB 设备足够。

固定提示、模型聊天模板、上下文上限、输出上限、采样设置和缓存精度。第一轮不同时更换模型、提示和分段方法。

文本从哪里来

先用 20 条开发文本检查流程，再冻结一个 100 条的小型试点：50 条公开一般文本，50 条自己撰写的技术说明。数字是便于开工的规模建议，不是充分统计保证。

公开部分可从Google WMT24++ 数据卡 检查相应语言列和数据说明；页面标 Apache-2.0。按文档 ID 选择和划分，处理坏源文标记，排除 canary 这类特殊标记行等非普通测试内容。下载页叫 train 不代表应该用这些评测文本调提示。本次未实际下载数据。

自写部分明确标为合成诊断集。事先写出每条的关键内容：数字与单位、否定关系、操作前提、版本或变量名。故意增加关键错误题，可以测敏感性，但不能据此估算真实用户文档中的错误发生率。

译文隐藏配置名称、打乱顺序后判断。有条件时请第二人检查争议条目；自动查数字缺失只能筛查，不能替代语义判断。

怎么测速度和质量

速度记录完整请求从提交到完整译文返回的时间，把首次加载与模型已加载后的时间分开。交错运行不同配置，记录设备、系统、llama.cpp 版本、电源和后台状态，避免最后一组总遭遇热降频。

官方 llama-bench 说明 指出其计时不包含 tokenization 和 sampling，因此它的结果可作为补充，不能代替完整翻译等待时间。

质量至少保留人工关键错误数、空输出／截断／重复，以及一个文本相似度指标。可用 SacreBLEU 官方工具 计算 chrF++ 并保存版本签名；这个指标比较字符和词片段匹配，不等于技术语义正确率。

报告每种配置的完整耗时中位数、较慢请求、内存和错误分母。速度至少重复几次；小样本不要主打很不稳定的极端尾部百分位。质量以同一原文的不同配置输出作配对；同文档的句子不能都当完全独立样本。

预算怎样控制

100 条文本、三个配置，对应 300 份基础译文；若每条每配置重复三次计时，就是 900 次运行。先用 20 条估算每次耗时与人工核查速度，再决定是否跑满。若输出存在随机差异，事先决定全部评分还是按固定规则抽样，不能事后挑最好的一次。

不使用 API 时，费用主要是现有设备运行与个人时间；本方案不要求购买硬件。第一轮也可以只比较两个配置，明确这是更小的预试。

何时扩大，何时收住

若较高精度模型自己就经常翻不对，先换任务或模型，不能把底模能力问题都归因于量化。若只看到通常的速度与质量取舍，完成复现和配置报告即可。

若平均分接近，某类关键错误却稳定增加，再增加该类和对照类，换第二个模型，并查 quantization、translation、negation、numerical fidelity、critical errors 等具体文献。第二阶段才加入分段策略，避免矩阵失控。

这一项可以零 API 开支，但耗费本地运行时间和人工核查时间。先安排一个晚上跑通 20 条；正式试点的耗时由预跑测量决定。不先做能耗或碳排放结论，因为那需要额外的测量设计。

第一次开工清单

确认机器能跑一个候选模型；自己写五条含数字、否定和条件的文本；人工写正确含义；用两个精度配置跑通；保留译文与完整耗时。只有这一步可信，再引入公开数据和第三种配置。