...

英汉翻译质量评估标注指南

Annotation Guidelines for English-Chinese Translation Quality Assessment

总览

引言

• UAM Corpus Tool的基本操作
• 总体标注规则
• 当您不确定时：资源推荐

第一步：标注可接受度

• 可接受度错误类型

下一步的文本准备工作

第二步：标注忠实度

• 忠实度错误类型

第三步：确认标注

• 制定“统一标准”

引言↩

翻译质量评估是一项非常复杂的任务，评估的目的不同，评估的方式也会不同。本次翻译质量评估的目的是对比不同翻译模式下（人工翻译、机器翻译和机器翻译译后编辑）的翻译质量有何异同，尤其是在细粒度方面（fine-grained），即翻译错误类型上的异同。传统翻译质量评估在错误罚分（severity score）上往往比较主观，且局限于句子层面，忽视了衔接、连贯等语篇方面的评分。本次翻译质量评估错误类型分类（categorization of translation errors）和错误权重（error weights）是基于英汉语言特征、Daems et al.（2017）的英-荷翻译质量评估模型和Burchardt & Lommel（2014）的MQM¹多维度翻译质量评估模型；本次翻译错误类型标注模式参照Daems et al.（2017）²的两步翻译质量错误类型标注模式（a two-step TQA approach）和基于用户定义的错误类型权重（user-defined error weights）分类标准。

翻译错误类型分类

本次翻译错误分为两大类：忠实度（Adequacy）和可接受度（Acceptability）。

错误权重（Error weights）

错误权重的分类和判定工作由研究者确定，而非由标注员（annotators）确定。本课题参照Daems et al.（2017）所制定的翻译错误权重层级，并根据本课题的文本类型（科学类新闻）和英汉之间的差异，将术语错误和术语不一致等错误权重作出适当修正。忠实度和可接受度中不同错误类型的错误权重可参见忠实度（Adequacy）和可接受度（Acceptability）。以下是本课题的5级错误权重分类标准：

• 0：不属于真正的问题（not an actual problem）：这一类别的问题由两类因素决定，一类是由任务本身决定，例如：显化（explicitation）；另一类是由翻译环境所致，例如一些被试由于键盘输入法临时卡顿，导致打字错误（typo）。在真实工作环境中，这种情况不会发生。
• 1：轻微问题（minor problems）: 译文依旧可以毫不费力地理解，而且译文所传递的信息与原文相一致。但译文存在一个小错误或者可读性略受一点影响，例如：拼写错误、标点符号错误、语域问题和重复错误。
• 2：中度问题（medium problems）: 原文和译文所传递的意思略有偏差，例如：词汇层面漏译；或者译文不怎么需要费力就可以理解，但在一些语法、风格或衔接与连贯性上不完全正确，例如：一致性错误和词汇衔接错误。
• 3：重要错误（major problems）: 译文与原文传递的意思有一些偏差，例如选词不当、句法层面漏译和衔接错误；或者译文由于语法结构不正确或突兀的表达，导致可读性较差，例如：语序错误和搭配错误。
• 4：严重错误（critical problems）: 此类错误是指对译文的可读性和准确性产生严重影响的错误，例如：词义错误、语义矛盾、术语错误和逻辑错误。

UAM Corpus Tool的基本操作↩

1. 先将UAM Corpus Tool安装到本地计算机，然后将TQA_PhD-rater1/2压缩包“解压到当前文件夹”，随后双击打开TQA_PhD-rater1/2.ct3文件。

2. 请先完成Acceptability_001~143的所有语料标注工作后，再开始Adequacy_001~118的语料标注工作。

3. 用鼠标选择一个您认为的翻译错误，标注框下方会显示所有主类别，鼠标双击主类别的某一项（如Grammar），则该项会移至Selected栏中。此时，请务必选择右侧的子类别！

4. 如发现选错类别，请在Selected中双击该类别；如想删除该词的所有错误类型标注，则选择该词后，点击Delete。

5. 请务必在每一个子类别下的Comment栏中填写标注的理由，以便后期统一标注类型。

6. 您可以多次选择同一个汉字或词语，因此您可以把不同的错误类型赋予同一个汉字或词语。

总体标注规则↩

1） 除非另有说明（如漏译），一般情况下请在汉语译文中标注错误类型。

2） 请同时选择主类别（如Meaning shift、Grammar、Lexicon和Cohesion & coherence等）和子类别（如Contradiction、Word sense和Cohesion）。

3） 请在标注完每一个错误类型后，都务必在Comment栏中注明标注理由（中英文皆可）。

4） 如果一个元素包含不只一个错误，则它包含几个错误，就选择几次，每次代表一个错误（例如，一个词既包含术语错误，也包含术语不一致的错误）。

5） 仅在没有更合适的错误类型的情况下，选择标注为“Other”。

6） 如果您不确定某一标注是否准确，请在Comment栏中注明问号“？？”，以表示不确定。

7） 如果同一错误重复出现，则一一标注这些错误。Muñoz Martín（2016: 359）认为，译文的读者是“人”，而非“机器”，即译文中反复出现的错误对读者的影响是不同的。经与评分员协商，我们在给错误类型的严重程度赋权重时，作出以下决定，即当同样的错误出现n次时（n≥2），将第2至第n次的错误类型权重均标注为1分（轻微问题）。通过调整重复出现的错误类型的严重程度，可以一定程度上控制“激活效应”。

8） 如果某一问题影响了整个句子或某一问题无法在句中标注，则标注句子编号。其它情况下，均在句子内部进行标注。

当您不确定时：资源推荐↩

If you are not sure whether or not something is an error, don't be afraid to consult external sources. You are perfectly allowed to use a dictionary or a search engine to look things up. Some useful sites that you could consult for acceptability issues are:

https://www.ldoceonline.com/

https://www.merriam-webster.com/

https://www.oxfordlearnersdictionaries.com/us/

http://bcc.blcu.edu.cn/

http://corpus.zhonghuayuwen.org/

http://ccl.pku.edu.cn:8080/ccl_corpus/

第一步：标注可接受度(Acceptability)↩

您将标注的文本为英译汉的翻译产品。翻译质量错误类型标注将围绕以下两个重要的维度展开：忠实度(Adequacy)和可接受度(Acceptability)。忠实度关注原文和译文的关系，而可接受度关注目标语文本和语言层面。目前您的任务是标注翻译产品的可接受度层面的错误类型。忠实度层面的错误类型须在此步骤完成后单独进行。为了确保您在标注可接受度错误类型时，只关注目标语文本和语言层面的错误，您在此过程中仅有汉语译文供您标注，而没有英语原文，目的是为了避免您在标注可接受度层面的错误时受原文的影响。

可接受度指译文遵循目标语的语言和文化规范。优秀的译文需要读起来像是汉语本族人写得文章一样。这里的规范包括：语言层面（语法、词汇、拼写）、文章结构（衔接与连贯）和文本类型层面（如：新闻报纸的文章风格与用户手册的风格不同）。

作为标注人员，请以出版级别的质量要求来标注译文的可接受度错误。请将不符合汉语语言规范、不符合汉语新闻文体结构要求的错误标注出来。请在UAM Corpus Tool中完成标注工作，忠实度错误的主类别是语法(Grammar)、词汇(Lexicon)、技术性细节(Mechanics)、风格和语域(Style & register)、衔接与连贯(Cohesion & Coherence)，其子类别已事先确定。各类别的定义和层次结构可通过UAM Corpus Tool中的LayersEdit Scheme查看。

可接受度错误类型↩

语法(Grammar)↩

定义 ：“不符合汉语语法和结构规则的错误。”

Definition : 'This does not follow the grammatical or structural rules of the Chinese language.'

时体态错误(Tense-mood-aspect)↩

定义 ：“动词形式的时、体、态的呈现存在错误。”

Definition : ‘A verbal form displays the wrong tense, mood, or aspect.’

标注方式 ：选择错误的动词形式。

Annotation : Select the incorrect verb form.

• 例: 1987年在北卡罗来纳州重新引入的一群红狼因正在消失。
• “消失”属于不可重复瞬间动词（施栋琴, 2002），不可能“正在消失”，可改为“纷纷消亡”。

多余成分(Superfluous - superfluous word or constituent)↩

定义 ：“该句因存在多余成分或词，导致语法不正确。这一成分可以是该句中先前出现过的成分或者连续出现两次的词。”

Definition : 'The sentence is grammatically incorrect because there is a superfluous constituent or word. This can be a constituent that already appeared earlier in the sentence or a word that has been written twice in a row.'

标注方式 ：选择多余的词或成分。如果该词出现两次，删除任意一个词都可以使该句的语法正确，则选择第一次出现的词。

Annotation : Select the superfluous word or constituent. If the word appears twice and either one of them can be deleted to make the sentence grammatically correct, select the first occurrence of the word.

• 例: 鳄鱼河国家野生动物保护区在外滩群岛附近放出了一批的红狼种群。（TT02）
• 汉语中只会说“一批”红狼，而不会说“一批的”红狼。此处多了一个“的”，语法上不正确。

成分缺失(Missing - missing constituent or preposition)↩

定义 ：“该句语法不正确，是因为句子结构中必要的结构缺失，比如介词或句子的直接宾语。”

Definition : 'The sentence is grammatically incorrect because a necessary part of the structure is missing, this can be a preposition or an entire constituent such as an obligatory direct object.'

标注方式 ：如果介词缺失，则选择缺失的介词后的相应名词短语。如果缺失主语或宾语，则选择动词。

Annotation : If a preposition is missing, select the noun phrase following the missing preposition. If an essential subject or object is missing, select the verb.

其它语法错误(Grammar other)↩

当您发现某一处语法错误不属于以上任何错误类型时，请选择此类别。请务必给出您选择此类别的理由。

Choose this category when you encounter a grammatical error that does not belong to any of the abovementioned categories. Always explain why you choose this category.

定义 ：“根据汉语特征，此处存在词汇问题或错误。”

Definition : 'This is a lexical problem/error when looking at the Chinese language.'

定义 ：“该词在汉语中存在，但在使用方面存在错误或突兀，例如两词的组合不常见，在固定表达中存在错误。”

Definition : 'The word(s) exist(s) in Chinese, but is/are used in the wrong or in a strange way: uncommon combinations of words, errors in fixed expressions,…'

Be careful! If the combination of words is lexically correct, but not logical in the context, select 'Cohesion & coherence - Logical problem', not 'Lexicon - Wrong collocation'.

标注方式 ：选择用法错误的词或成分。如果是固定表达存在问题，则选择整个表达（包括介词！）。如果一个名词和不恰当的动词或形容词搭配，则选择整个动词或形容词。

Annotation : Select the word or constituent that is used in a wrong way. If there is a problem with a fixed expression, select the entire expression (prepositions included!). If an inappropriate verb or adjective is used with a noun, select the entire verb or adjective.

• 例: ······深的永久冻土层被认为可以提供“故障安全”保护······ (TT04)
• “深的”和“永久冻土层”一起搭配显得很突兀。

定义 ：“命名实体（地理位置、人名、公司、机构等）使用不正确：（有部分）未译；（部分）翻译出来了，但在汉语中不存在。”

Definition : 'Incorrect use of named entity (geographical location, name, company, organization, etc.) in Chinese: (partially) untranslated named entities that have an official Chinese equivalent, (partially) translated named entities that do not exist in Chinese, etc.'

Be careful! If the named entity in an English text translated into Chinese is left untranslated, select 'Adequacy - Untranslated', not 'Lexicon - Named entity'.

Annotation : Select the named entity.

• 例: 在外河岸附近的鳄鱼河国家野生动物保护区 (TT02)
• “外河岸”作为一个命名实体，令读者不知所云。

• 例: 阿尔塔米拉诺是留在Xochimilco水上花园的大约20名渔民之一。(TT03)
• “Xochimilco”作为一个命名实体，并没有翻译成汉语，则属于命名实体问题，因为会给读者的阅读造成一定的影响。

定义 ：“该词在汉语中不存在。如果某词未译，且在汉语中没有任何意义，则也归为此类。”

Definition : 'This word does not exist in Chinese. This category also includes untranslated words that make no sense in Chinese. '

Be careful! If the non-existent word is the result of incorrect grammar, select the appropriate category in the 'Grammar & Syntax' section, not 'Lexicon - Word non-existent'.

标注方式 ：选择该词。

Annotation : Select the word.

• 例: 它被设计成坚不可摧的深冰，······（TT04）
• 根据“北京语言大学语料库中心（BCC）”语料库(http://bcc.blcu.edu.cn/)，“深冰”属于不存在的词。

定义 ：“该句在词汇或短语层面存在语义上的歧义。”

Definition : 'The sentence is ambiguous in its meaning at lexical or phraseological level. '

Annotation : Select the word/phrase.

• 例: 原始人造岛 (TT03)
• 该名词短语存在歧义，可能会存在两种解读：1. 原始[人造岛]；2. 原始人[造岛]。

定义 ：“该多词单位并不属于程式化的表达。”

Definition : 'The multiword units are not formulaic sequences '

Annotation : Select the multiword unit.

• 例: 在世界有记录以来最热的一年即将结束之际，······ (TT04)
• 该多词单位“世界有记录以来”不是汉语中的固定表达，建议改为：世界有史以来/全球有记录以来。

定义 ：“不符合汉语的拼写和标点符号或存在打字错误。”

Definition : 'This does not follow the rules of spelling and punctuation of the Chinese language or this is a typo.'

定义 ：“某一汉字的拼写存在错误。”

Definition : 'Wrong spelling of a single Chinese character.'

• 例: “霍奇米尔科的岛屿比渔人还多。”阿尔塔米拉诺这样说到。(TT03)
• 此处的“说到”应该是“说道”。

定义 ：“这一错误很有可能是因为打字太快，导致汉字错位，或缺失一个汉字，或多输入一个汉字，或存在多余的空格。”

Definition : 'This error was probably caused by typing too fast: characters have been switched; there is a character missing or too many, there's a superfluous space,… '

Be careful! Do not interpret spelling mistakes as typos. Only select 'typo' if the error cannot be classified elsewhere, otherwise select 'spelling, typos & punctuation - single-word spelling mistake' or the appropriate category.

标注方式 ：选择整个词，而不仅仅是一些需要调整的汉字。

Annotation : Select the entire word, not just the few characters that need to be changed.

• 例: 当种子库于2008年建成时，其所在的永久冻土层被认为可以提供“完全”保障······(TT04)
• 此处应该是“万全”，被试因打字速度过快，错把“万”打成了“完”。

定义 ：“该句的标点符号使用错误或者缺失。”

Definition : 'The punctuation of the sentence is wrong or missing.'

Be careful! If the punctuation mark is a quotation mark, you should select 'punctuation' and select the entire word, not just the punctuation mark. 标注方式 ：选择标点符号。

Annotation : Select the punctuation mark.

• 例: 这一报告由《美国鱼类及野生动植物管理局》研究并在周二（4月24日）发布。(TT02)
• 美国鱼类及野生动植物管理局”是一个机构的名称，不应加书名号。

定义 ：“文章存在风格和语域层面的问题。”

Definition : 'The text has stylistic problems or problems in terms of register.'

定义 ：“两个词或表达意思相同，但该词或表达过于正式或过于非正式，因为这样的表达所属的语域不完全适合目标受众。”

Definition : 'The words have the same meaning, but the chosen word/expression is too formal/informal/... for the text or belongs to a regional variety of the language that is not entirely suitable for the target audience.'

Annotation : Select the word(s) or expression from the inappropriate register.

• 例: 最近，一组科学家团队去到了位于太平洋深处的阿塔卡马海沟，······(TT01)
• 此句中“去到了”表述过于口语化，不符合正式的新闻语体，属于语域错误。

定义 ：“同样一个词或表达使用过于频繁或出现距离过近，建议使用近义词。”

Definition :'The same or a very similar word/expression is used too often or is too close to the previous occurrence of the word/expression, it's better to use a synonym.'

Annotation :Select the first occurrence of this word/expression and specify why/where it has been used too often in the Comment section.

• 例: 纽卡斯尔大学于9月10日(周一)公布了这一研究结果。据纽卡斯尔大学介绍，研究人员在水下2.1万英尺处发现了三种新型的“神秘”蜗牛。(TT01)
• “纽卡斯尔大学”在这两句话中连续出现，略显重复。

定义 ：“这句话/成分并非存在语法错误或长句，而是受英语原文的影响，导致可读性差，需要使用更加地道的译文。”

Definition : 'The sentence / constituent is not grammatically incorrect nor syntactically long, but it is influenced by the English source text, which leads to low readability. It could be translated in a much more idiomatic way.'

Annotation :Select the constituent that affects readability.

• 例: 它被设计成坚不可摧的深冰，······(TT04)
• 此处的“它”做主语不符合汉语表达习惯。

定义 ：“这句话包含过多的嵌套从句，或太冗长，虽然可以理解语义，但十分笨拙或冗长，理解起来有难度。”

Definition : 'A sentence is written with many embedded clauses and an excessively wordy style. While the meaning can be understood, the text is very awkward and difficult to follow.'

Annotation : Select the entire sentence.

• 例: ······联邦政府试图阻止北美唯一一只与众不同的狼在野外消失的努力陷入了困境。(TT02)
• 此句中的“努力”前置定语过长，读起来比较吃力。

定义 ：“该句段包含过多短句段，影响了可读性”。

Definition :'This segment contains too many short sentence segments, which affects the readability.'

Annotation :Select the punctuation marks, such as commas or semicolons, that separate the sentence into more than two sentence segments.

• 例: 阿兹特克，创造了最初的人工岛，也是第一个提出解决方案的人。(TT01)
• 此句话逗号太多，导致句段过短，影响了可读性，建议改为：“阿兹特克创造了最初的人工岛，也是第一个提出解决方案的人。”

定义 ：“这未必是一个问题，但因为文本类型的关系，需要不同的句子结构或删除一些内容。”

Definition :'This is not necessarily a problem, but the text type allows or requires different constructions or deletions.'

• 例: 挪威政府工作人员赫格·阿斯金(Hege Njaa Aschim) (TT04)
• 在汉语新闻中通常只使用人名中的姓（last name），在此处应该只保留阿斯金(Aschim)即可。

当您发现某一处文体问题不属于以上任何错误类型时，请选择此类别。请务必给出您选择此类别的理由。

Choose this category when you encounter a style/ register problem that does not belong to any of the abovementioned categories. Always explain why you choose this category.

• 例: 在最近一次前往太平洋最深处之一的阿塔卡马海沟(Atacama堑壕)的旅途中......(TT01)
• 此处的“(Atacama堑壕)”的括号中，英汉词汇同时出现，不符合汉语表达。

定义 ：“译文的衔接或连贯性存在问题，比如缺少指代词、连接词、逻辑结构存在问题、表述不一致等。”

Definition :'There is something wrong with the coherence of the text: lack of reference, conjunctin/linking words, and logical structure, inconsistency,…'

定义 ：译文中必要的照应、替代、省略、连接或词汇衔接手段缺失，或使用不正确，导致译文无法很好地理解。

Definition : 'Portions of the text needed to connect it into an understandable whole (e.g., reference, substitution, ellipsis, conjunction, and lexical cohesion) are missing or incorrect.'

Annotation : If there is a conjunction/linking word, select the characters. If the conjunction/linking word is missing, select the constituent that should have contained the conjunction/linking word.

• 例: 联邦政府试图阻止北美唯一一只与众不同的狼在野外消失的努力陷入了困境。
• 根据上下文，联邦政府试图阻止的红狼数量不应只有一只。此处为词汇衔接手段错误。

定义 ：逻辑问题是指译文选项根据文本的语境无法理解，或不符合事实常理。

Definition : 'Logical problems are those choices that do not make sense in the context of the text, or the world at large'

Annotation : If the logical problem is situated in one word or a part of the sentence, select this character/constituent. If the problem is situated in the whole sentence, select this sentence as a whole.

• 例: “Xochimilco的数量比渔民还多，”阿尔塔米拉诺说。(TT03)。
• 霍奇米尔科(Xochimilco)本身就是一个地方，不存在数量比渔民多，这里明显存在逻辑问题。

定义 ：“术语或符号通篇使用不一致。”

Definition : 'Terms or notations are used inconsistently throughout the text.'

Annotation : Select the first inconsistent occurrence of the word.

• 例: 据纽卡斯尔大学介绍，研究人员在水下2.1万英尺处发现了三种新型的“神秘”蜗牛。在视频中，这条新发现的蜗牛鱼看起来很长，呈胶状，皮肤半透明，动作轻盈。这条鱼看起来也比鱼饵附近的摄像机捕捉到的其他生物要大得多。(TT01)
• 此例中第二句中为“蜗牛鱼”，而第一句中为“蜗牛”，表述不一致。

当您发现某一处衔接或连贯问题不属于以上任何错误类型时，请选择此类别。请务必给出您选择此类别的理由。

Choose this category when you encounter a cohesion or coherence problem that does not belong to any of the abovementioned categories. Always explain why you choose this category.