了广泛的文化参考和语义深度。 对于大多数大语言模型来说，来自如何给每种语言编码的。 一般的规则是： .对英语原生支持：英语在T中被认为是“一等公民”并有深度优化。 .编码支持：语言共有6种，使用了字节对编码，以确保与处理框架的兼容性。 .非无法编码：遗憾的是，和众多大语言模型都不支持非 语言，因为这些语言无法用计算机通用的字节表。
您听说过-3.5词汇表吗？它包含
大部分来自英语。 下面是该词汇 希腊电子邮件列表 表的节选：感叹号！.第3至57个是大写字母单词后缀 “幸的是，“”这个词并不在词汇表中 .变体和同义词 a.英文二月的各种代表：“”。 请注意，有些token带有空格前缀。 词汇概览词汇表专门用于英语，以至于它有9个专用于“”的token！遗憾的是，其他语言在这个K大小的词汇表中没有获得应有的份额。这至少表明英语对于GPT模型来说是多么占主导地位。 的,6个词汇表中有代表写作效率 != 提示效率言的编码凸显在了在token的使用效率上。例如，中文字符“猫”由三个（十六进制值：表示，而英语单词“”则仅需一个表示。 字符如何分解为字节并转换异强
写入效率和提示效率之间的重要区别。 当面 最大限度地提高健身效果 定期去健身房如何提高房产升值 限制（例比中文或韩语更有效的提示语言。各种语言“猫”的猫）= 个中文：猫 = 3 个（猫）= 4 个在向表达“猫”这个狭义的例子里，英语的效率是中文的3倍，是韩语的 4 倍。 在的码中，字符通常为到4个字节，而世界上大多数语言字符占用到3个字节。因此，非英语语言的标记长度往往平均每个单词有到3个，与英语相比，提示
效率较低。 考虑展上下文长度最多 CZ 领先 支持8,个，语言效率的差异会变得更加明显。 8k个大概是多少个单词？下面是一个平均值： 英语：约 96, 个单词 简体中文：约,个字符 韩语：约 4, 个字符 英语在提示词效率方面是中文的.8倍，韩语的.3倍综上所述，英语
是最高效的提示语言，其提示效率是
中、日、韩）语言的约倍。 两个其他语言的例子：克林贡语()和爪哇语()大语言模型对一个语种的支持取决于该语种是否被包含在标准字符编码系统 中。 如果缺少了某种语言，那大语言模型也不会支持这种语言。 以下是不支持的语言示例萨语——印度和缅甸唐萨族使用的语言。语——印度西孟加拉邦托托部落所使用语言伊努语 – 日本阿伊努人使用，对片假名区中的一些字符的支持有限。种用于书写苗语的文字，创建
于世纪中叶。—印度和孟加拉国的使用。—利比里亚和几内亚的人使用。瓦伊语——利比里亚瓦伊语使用的音节文。巴萨瓦语——一种用于利比里亚巴萨语的文字。克林贡语()克林贡语是《星际迷航》宇宙中的一种人造语言，但中却没有这种语言。因此，由于缺乏支持，等大语言模型无法读取或处理克林贡语脚本。如果人类在础上实现了通用人工智能（），那在马斯克发往火星的飞船上听到了克林贡语是理解不了的。 克林贡文字不属于 ，因此不受大语言模型支持爪哇语()印度尼西亚爪哇岛有68万人口使用爪哇语，它与编程语言Java有着独特的历史联系。尽管在推动在编程语言中的采用方面发挥着关键作用，但爪哇语言本身直到9年才得到的正
