如何在 LM Studio 运行 UnimeType Transliteration-4B

在本地下载、加载并测试这个 4B 多语言 Convert 模型,覆盖中文拼音、日文 Romaji、Hinglish 和 Arabizi。

UUnimeType · 3 分钟阅读

UnimeType Transliteration-4B 提供标准 Safetensors、GGUF 和 MLX 三种格式。本文介绍在 Apple 芯片电脑上用 LM Studio 加载 MLX 版本。

下载模型

如果需要托管的拼音转中文接口,可以查看 UnimeType 转写 API。当前测试网预览可查询付款报价,付费模型调用尚未开放。

格式下载已检查的运行方式
MLX 6-bitMLX 仓库Apple 芯片上的 LM Studio
标准浮点权重Safetensors 仓库原生 MLX 推理;Transformers 已检查加载
GGUF Q8_0GGUF 仓库原生 llama.cpp Metal

三个版本来自同一份保留的微调权重。标准版不是把公开的 MLX 6-bit 文件反量化得到的。微调使用了 4-bit 量化底座,因此浮点存储不代表恢复了底座量化前的精度。训练数据集未公开。

9 月 6 日的检查使用 Apple M5 Pro MacBook Pro,内存为 48 GB。NVIDIA、AMD、iOS 和 Android 推理尚未验证,GGUF 在 LM Studio 中的运行也尚未验证。GGUF 的已测启动命令见对应模型卡。

标准版和 GGUF 有已知的阿拉伯语末尾多出换行问题。短英文输入、日文标点和 emoji 也可能无法完整保留。模型卡列出实际测试结果、测试范围和文件校验值;使用前请检查转换结果。

打开 Transliteration-4B 模型页面,使用你习惯的 Hugging Face 方法下载整个仓库。然后在 LM Studio 中导入或选择已经下载的 MLX 模型目录。

公开文件基于 Qwen3.5-4B,使用 group size 64 的 6-bit affine 量化。模型仓库约为 3.44 GB。磁盘文件大小不等于运行时峰值内存。

把它作为文字模型加载

本文这些短 Convert 示例可以使用 2048 的上下文长度。启动本地服务器,然后在 LM Studio 中选择已经加载的模型。

Convert 需要任务提示词说明目标语言,并要求只返回替换正文。普通聊天提示词不是同一个测试,可能让模型添加解释,或者执行另一种写作任务。

每种语言先试一条

可以先用下面四条做快速检查:

语言路径拉丁字母输入目标形式
中文jintian yao finish README今天要 finish README
日文ashita Tokyo de meeting ga arimasu明日 Tokyo で meeting があります
印地语aaj meeting haiआज meeting है
阿拉伯语fee meeting bokraفي meeting بكرة

这些例子不只测试能否生成目标文字,也检查中间的英文片段是否保持不变。

先测试保留能力,再测试长文

在用长段落判断模型之前,先试代码、产品名、网址、emoji 和多行输入。这个模型把拉丁字母输入转换成目标语言的文字,不用于翻译、改写、Polish 或 Explain。

本地执行表示推理发生在运行 LM Studio 的电脑上。其他应用向本地服务器发送什么内容,则取决于该应用的集成方式和设置。

模型卡片里的分数如何得到,见我们如何评测多语言转写模型。产品的本地与联网边界见产品边界。

选择你的平台查看当前下载与测试选项。

查看下载下一篇: 怎样用英文键盘输入印地语:3 种方法