Оценка качества перевода в русле методологии системного анализа

УДК 81'25

ОЦЕНКА КАЧЕСТВА ПЕРЕВОДА В РУСЛЕ МЕТОДОЛОГИИ СИСТЕМНОГО АНАЛИЗА

Е. А. Княжева, Е. А. Пирко

Воронежский государственный университет

Поступила в редакцию 10 сентября 2012 г.

Аннотация: в статье рассматриваются проблемы методологии и методики оценки качества перевода. Особое внимание уделяется изучению возможностей системного анализа применительно к сфере перевода и переводоведения. Представлены результаты экспериментального исследования по оценке качества перевода с использованием метода анализа иерархий.

Ключевые слова: переводоведение, качество перевода, критерии оценки перевода, методы оценки перевода, системный анализ, метод анализа иерархий.

Abstract: the article reviews methodological problems of translation quality assessment. Special emphasis is laid on the discussion of system analysis methods and their application in translation theory. Experimental research results on translation quality assessment via the Analytic Hierarchy Process are presented.

Key words: theory of translation, translation quality, quality assessment criteria, quality assessment methodology, System Analysis, Analytic Hierarchy Process.

Актуальность исследований, направленных на уточнение критериев и параметров оценки перевода, в настоящее время очевидна и как никогда ранее связана с потребностью разработки методов объективной оценки переводов. Однако в этом заключено и глубокое внутреннее противоречие, состоящее, прежде всего, в том, что любая оценочная деятельность субъективна по своей природе. Субъективный фактор зачастую рассматривается как непреодолимое препятствие на пути разработки «объективных методов», что, в свою очередь, либо становится основанием для отказа от попыток такого рода, либо приводит к другой известной крайности, когда реальная картина подгоняется под удобную схему. На наш взгляд, в исследовательских целях было бы целесообразнее не только признать, но и исходить из субъективного характера оценки переводов. Как и любой другой сложный объект исследования, качество перевода характеризуется множественностью трактовок и интерпретаций: в отечественной традиции данное понятие соотносится с категориями адекватности, эквивалентности и нормы перевода, американские исследователи определяют качество перевода как полное соответствие требованиям заказчика и т.д. Данная концептуальная составляющая во многом обуславливает как выбор критериев, так и разработку методики оценки переводов.

История вопроса, подходы и проблемы. В течение достаточно длительного времени существовали две полярные концепции критического анализа

© Княжева Е. А., Пирко Е. А., 2013

переводов, базирующиеся на «чисто лингвистических» и литературоведческих критериях. Литературно-критическая оценка, построенная на основе художественно-эстетических параметров и психологических рассуждений, и сегодня является весьма распространенной в сфере художественного перевода. Что же касается таких сугубо переводоведческих критериев оценки перевода, как эквивалентность текста, адекватность смыслового содержания, соответствие цели перевода, обеспечение адекватной реакции получателя и т.д., то здесь имеется большое поле для разработки экспериментальных методик. В этом отношении очень показателен опыт финских ученых, которые предложили методики оценки качества переводов с позиций лингвистики текста и психолингвистики. Так, например, С. Тиркконен-Кондит оценивала адекватность перевода путем сопоставления глобальных характеристик исходного и переводного текстов, в качестве которых рассматривались функциональные и иерархические связи между предложениями, группами предложений и абзацами. Другое направление исследований было посвящено сопоставительному изучению реакций лингвистически подготовленной и лингвистически не подготовленной аудитории на текст перевода с использованием, соответственно, текстолингвистических параметров и импрессионистских оценок («плохой перевод»/ «хороший перевод») [5].

Еще одним подходом к рассматриваемой проблеме является традиционная для сферы учебного перевода формально-количественная оценка, суть которой заключается в выявлении допущенных ошибок. Фор-

ВЕСТНИК ВГУ СЕРИЯ: ЛИНГВИСТИКА И МЕЖКУЛЬТУРНАЯ КОММУНИКАЦИЯ. 2013. № 1

19. Заказ 322

мально-количественный метод достаточно эффективно работает в тех случаях, когда во главу угла ставится оценка качества переводящего языка. Вместе с тем совершенно очевидно, что квалификация таких случаев, как, например, «языковая» или «техническая» ошибка, приводящая к искажению предметно-логической ситуации или сбою на уровне прагматически релевантных параметров текста, продолжает оставаться проблемой. Поэтому широко практикуемая в учебной сфере оценка в баллах по 5-, 10- и 100-балльной шкале является в значительной степени интуитивной и, соответственно, очень условной.

Нормативной основой оценки перевода в профессионально-деловой среде являются международные и отечественные стандарты качества, такие как, например, ATA, SAEJ 2450, LISA, БП «Окей». На этой базе разрабатываются различные методики «измерения» качества перевода, направленные как на контроль процесса, так и на контроль результата [6-9]. Алгоритм расчета количественной оценки качества перевода может варьироваться в зависимости от выбранного инструментария, однако в рассмотренных нами системах индекс качества перевода (Translation Quality Index, далее - TQI) вычисляется на основе соотношения количества слов и количества ошибок, обнаруженных в тексте перевода. Так как указанные системы имеют свою собственную классификацию ошибок и градацию их веса, а также способ расчета оценки, TQI разных систем не подлежат прямому сравнению. Все модели, за исключением SAEJ 2450, имеют пороговое значение, ниже которого перевод считается неудовлетворительным и такой продукт не передается заказчику. Для системы ATA это пороговое значение составляет 18 баллов ошибок на 250 слов (92,80 %), для стандарта LISA - 1 балл ошибок на 100 слов (99 %) и для стандарта БП «Окей» - 14 баллов ошибок на 100 слов (86 %).

Теоретическое обоснование. Оценка качества перевода и методология системного анализа. Термин системный подход (СП) означает многоаспектный характер исследования сложной проблемы (объекта). Одновременно в общей теории систем выдвигается требование комплексного характера проводимого исследования, что предполагает учет взаимовлияния различных аспектов (точек зрения) и разнородных факторов для получения итогового целостного описания объекта. Термин системный анализ (СА) означает исследование сложной проблемной ситуации, снабженное определенной методикой или совокупностью методик, позволяющих расчленить проблему на более простые подпроблемы, выделить этапы исследования, разбить изучаемый процесс на отдельные подпроцессы и т.п. Иными словами, СА предполагает реализацию СП с использованием методологии, обеспечивающей структур-

ную основу проведения исследований в интересах решения сложной проблемы по частям [1, с. 26-28].

Современное переводоведение развивается в настоящее время как направление междисциплинарного характера, что объясняется природой самого объекта исследования - перевода. По справедливому мнению Н. А. Г арбовского, перевод является точкой пересечения практически всех областей гуманитарного знания и разнообразных методов исследования [2, с. 205]. В современных переводоведческих работах, в том числе и лингвистического направления, отчетливо проявляется осознание необходимости всестороннего подхода к анализу теоретических и практических проблем перевода. Как лингвисты, так и переводоведы все чаще обращаются к терминам «системный подход» и «системный анализ», которые иногда употребляются как синонимы, что, на наш взгляд, не вполне корректно.

Для решения сложных проблем, к которым, несомненно, относится оценка качества перевода, требуется объединить достаточно разнообразные и разнородные данные как точные, к которым относится, например, «объективная» оценка реальности в виде количественной информации, так и неточные, т.е. субъективные наблюдения и интерпретации, полученные на основе творческой потенции и личного опыта. Гипотеза о возможности применения методов системного анализа в сфере переводоведения в свое время была выдвинута М. Я. Цвиллингом, но, к сожалению, не получила дальнейшей разработки в отечественной теории перевода. Отмечая, вслед за Р К. Миньяр-Белоручевым, что суждение о «правильности» перевода выносится преподавателем или редактором на основе субъективного ощущения, М. Я. Цвиллинг видел способ преодоления индивидуального субъективизма «не в замене субъективных критериев объективными, а в объективизации тех закономерностей, которые лежат в основе субъективных суждений, и выработки мер, способствующих уменьшению их «разброса» [4, с. 62].

Методология и методика исследования. Системный анализ и метод анализа иерархий. К числу наиболее эффективных методов принятия решений при исследовании сложных проблем относится метод анализа иерархий (далее - МАИ), предложенный американским ученым Т. Саати. Представляя собой наиболее яркую реализацию базового принципа системного подхода, МАИ, в своей классической форме, предполагает выполнение следующих действий: 1) декомпозицию сложной проблемы на более простые составляющие; 2) проведение по специальной форме экспертного опроса лиц, принимающих решения (далее - ЛПР); 3) математическую обработку полученных данных с целью оценки согласованности и достоверности полученных результатов опроса [1, с. 54-55].

На первом этапе осуществляется моделирование проблемы и образуется доминантная иерархия, формируемая с вершины (глобальной цели - фокуса проблемы) через промежуточный уровень, содержащий критерии или факторы, от которых зависит решение проблемы, к самому нижнему уровню, который обычно определяет перечень альтернатив, подлежащих выбору. На следующем этапе выполняется опрос ЛПР и реализуется сравнительный анализ элементов проблемы и установление локальных приоритетов на каждом уровне для критериев и альтернатив. При проведении опроса составляются матрицы парных сравнений критериев между собой по отношению к общей цели и альтернатив по отношению к каждому из этих критериев. Последний этап заключается в синтезе глобальных приоритетов для окончательного принятия решения на основе полученных результатов. Одним из важных достоинств МАИ является то обстоятельство, что данный метод позволяет учитывать «человеческий фактор» при подготовке принятия решения путем построения дополнительной модели согласования различных мнений (иногда достаточно спорных и противоречивых), посредством определения их приоритетов. Поэтому применение МАИ достаточно широко распространено в мировой практике для принятия решений в самых разнообразных ситуациях: от управления на межгосударственном уровне до решения отраслевых и частных проблем в бизнесе, промышленности, здравоохранении и образовании.

Описание эксперимента и результатов исследования. Оценка качества перевода с использова-

нием МАИ. Апробация данной методики осуществлялась на кафедре теории перевода и межкультурной коммуникации факультета РГФ ВГУ. На предварительной стадии эксперимента в качестве исходного был выбран газетно-журнальный информационноэкспрессивный текст, смысловое содержание которого выстроено под определенным углом зрения, отражающего ярко выраженную субъективную позицию автора [10]. Перевод данного текста был выполнен группой студентов 5 курса переводческого отделения (далее - ПТ1, ПТ2, ПТ3, ПТ4, ПТ5). Студенческие работы были проверены и оценены преподавателем письменного перевода по стандартной методике, т. е. путем выявления и квалификации переводческих ошибок и в результате рейтинг переводов выстроился следующим образом: ПТ4 - «5», ПТ3 - «5-», ПТ1 - «4», ПТ2 - «3», ПТ5 - «3-».

Первый этап в соответствии с выбранной методикой системного анализа (МАИ) заключался в том, чтобы представить проблему оценки качества переводов в виде иерархии (рис. 1.). Первый уровень данной иерархии включает определение цели — фокуса проблемы, второй уровень предполагает выбор критериев оценки перевода, третий уровень представляет собой оценку переводов по указанным критериям. Отбор критериев оценки перевода осуществлялся с учетом таких определяющих факторов, как сфера перевода (учебный перевод), цель перевода (создание функционального аналога исходного текста), тип текста (информационно-экспрессивный) и способ перевода (полный письменный перевод) [3, с. 171].

1 уровень -фокус проблемы

2 уровень -критерии оценки качества перевода

3 уровень -альтернативные варианты перевода

Рис. 1. Уровни иерархии решаемой задачи

ВЕСТНИК ВГУ. СЕРИЯ: ЛИНГВИСТИКА И МЕЖКУЛЬТУРНАЯ КОММУНИКАЦИЯ. 2013. № 1

19*

Задача второго этапа состояла в проведении опроса экспертов и построении рейтинга критериев или, в соответствующей терминологии, весов критериев на основе обработки данных, полученных в ходе опроса четырех экспертов. Учитывая, что оценка многоаспектной проблемы в целом, как правило, вызывает затруднения, методика МАИ предусматривает попарное сравнение критериев и формирование соответствующих суждений экспертов с точки зрения их влияния на конечный результат (в нашем случае

- на качество перевода). Например, критерий предметная ситуация сравнивался с критерием логическая организация, далее - с критерием прагматика текста, лексическая сочетаемость и т.д. В целях оптимизации данного этапа работы нами была разработана удобная форма электронной анкеты, которой пользовались эксперты при установлении своих приоритетов.

Далее нами была проведена численная оценка субъективных суждений экспертов по шкале относительной важности, предложенной Т. Саати для проведения парных сравнений любых объектов, которая в нашем случае имеет вид, представленный в табл. 1.

Т а б л и ц а 1

Шкала относительной важности

Коэффициент относительной важности Определение ситуации

1 Равная важность, приоритетность

3 Умеренная превосходность одного над другим

5 Существенное (сильное) превосходство

7 Весьма значительное превосходство

9 Подавляющее превосходство

В результате обработки заполненных каждым экспертом анкет были получены четыре матрицы парных сравнений оценочных критериев. Пример такой матрицы, составленной по данным опроса первого эксперта, приведен в табл. 2.

Следующий шаг состоял в определении рейтинга (веса) каждого критерия с точки зрения его влияния на фокус проблемы. Для этого необходимо собрать суждения всех экспертов в единую матрицу, представленную в табл. 3, путем вычисления среднего геометрического значения для каждых элементов четырех матриц, расположенных на пересечении одних и тех же строк и столбцов:

к к к к к

'

где К4 - элемент первой матрицы, стоящий на пересечении і-й строки 7-го столбца; К(2 - элемент второй матрицы, стоящий на пересечении і-й строки 7-го столбца и т.д.

Т а б л и ц а 2

Матрица парных сравнений

ОКП к К2 К3 К4 К5 К7 К8

к 1 5 3 7 7 9 9 7

К2 1/5 1 3 3 7 9 9 7

К3 1/3 1/3 1 3 5 7 9 5

К4 1/7 1/3 1/3 1 1 7 9 7

К5 1/7 1/7 1/5 1 1 3 5 5

К6 1/9 1/9 1/7 1/7 1/3 1 3 3

К7 1/9 1/9 1/9 1/9 1/5 1/3 1 1/3

К8 1/7 1/7 1/5 1/7 1/5 1/3 3 1

Затем в агрегированной по результатам опроса всех экспертов матрице для каждой строки определяется среднее геометрическое значение элементов строки и проводится нормировка полученных значений по всем строкам. При этом получается нормализованный вектор весов, определяющий вектор приоритетов (важности) используемых критериев по отношению к общей цели.

Результатом вычислений, представленных в табл. 3, является вектор приоритетов, используемых критериев К = (0,294; 0,220; 0,212; 0,091; 0,090; 0,036; 0,032; 0,026), что и представляет собой количественное выражение переводческих предпочтений экспертов. Таким образом, рейтинг критериев выстраивается следующим образом: К1 - предметная ситуация, К2 - логическая организация, К3 - прагматика, К4 -лексическая сочетаемость, К5 - грамматические нормы ПЯ, К7 - пунктуационные нормы ПЯ, К8 -оформление текста перевода, К6 - орфографические нормы ПЯ.

Поскольку представленные суждения отражают субъективные мнения экспертов, всегда существует вероятность расхождения их оценок. Поэтому заключительным шагом данного этапа является проверка результатов на согласованность. Анализ согласованности выполнялся в соответствии с базовыми соотношениями МАИ [1, с. 60]. В нашем случае коэффициент согласованности оказался равным 0,058, что является допустимым значением (нижний предел отношения согласованности составляет 0,1). Данная величина свидетельствует о единстве мнений экспертов, а также показывает, что при оценке элементов матрицы не было допущено ошибок.

Третий этап эксперимента состоял в оценке пяти переводов текста по отношению к каждому отдельно взятому критерию. На данном этапе эксперты также фиксировали свои суждения в специально разработанных электронных анкетах. При обработке полученных данных, по отношению к

Т а б л и ц а 3

Матрица парных сравнений для второго уровня, решения и согласованность

ОКП К1 К2 К3 К4 К5 К6 К7 К8 Вектор приоритетов

К! 1 2,236 1,968 4,787 3,956 7,297 6,422 4,304 0,294

К2 0,447 1 1,732 2,943 3,201 6,422 5,904 6,031 0,220

К3 0,508 0,577 1 4,787 3,637 6,031 7,297 5,544 0,212

К4 0,209 0,340 0,209 1 0,760 5,207 5,097 4,304 0,090

К5 0,253 0,312 0,275 1,316 1 3,873 3,344 3,873 0,091

К6 0,137 0,156 0,166 0,192 0,258 1 1,732 1,000 0,032

К7 0,156 0,169 0,137 0,196 0,299 0,577 1 0,508 0,026

К8 0,232 0,166 0,180 0,232 0,258 1,000 1,968 1 0,036

ОС = 0,058

каждому из оценочных критериев заполнялись матрицы сравнения альтернатив (текстов переводов). Затем в агрегированной по результатам опроса всех экспертов матрице для каждой строки определялось среднее геометрическое значение элементов строки и проводилась нормировка полученных значений по всем строкам. При этом получается нормализованный вектор весов, определяющий вектор приоритетов (важности) альтернатив по отношению к данному критерию. В качестве примера представлена матрица сравнения альтернатив по отношению к критерию К1 (табл. 4).

В верхнем левом углу данной матрицы указывается критерий, по отношению к которому проводится сравнение, в верхней строке и левом столбце размещены сравниваемые альтернативы (переводы). В крайнем правом столбце размещаются вычисленные значения весов (рейтингов) переводов, которые отражают степень соответствия переводов критерию К1. Таким образом, данная матрица показывает, что в первом переводе наиболее полно и точно передана предметная ситуация исходного текста -

0,304; третий и четвертый переводы несколько уступают первому по данному критерию - 0,213; и завершают список второй и пятый переводы - 0,117. Аналогичным образом заполняются матрицы попарного сравнения переводов по отношению к остальным критериям (результаты представлены в табл. 5).

Полученные матрицы парных сравнений являются согласованными, о чем свидетельствуют расчетные

Т а б л и ц а 4

Матрица парных сравнений альтернатив для критерия К - «предметная ситуация»

К1 ПТ1 ПТ2 ПТ3 ПТ4 ПТ5 Вектор приоритетов

ПТ1 1 2,590 1,136 1,316 3 0,304

ПТ2 0,386 1 0,508 0,508 1 0,117

ПТ3 0,880 1,968 1 1 1,699 0,231

ПТ4 0,760 1,968 1 1 1,968 0,231

ПТ5 0,333 1 0,589 0,508 1 0,117

ОС = 0,00268

значения ОС (все меньше 0,1), а это означает, что в результате эксперимента были получены достоверные оценки, не требующие дальнейшего пересмотра. Исходная информация, способствующая формированию экспертами полноценных высказываний, была предоставлена в полном объеме, а сами эксперты (ЛПР) были едины в оценках конкретных переводов, за исключением допустимых разногласий.

На четвертом этапе реализации методики МАИ проводился синтез глобальных приоритетов выбора, определяющих окончательные рейтинги альтернативных вариантов перевода. При синтезе глобальных приоритетов выбора проводится взвешенное суммирование локальных рейтингов альтернатив с весами, определенными для критериев и представленными в

табл. 6, в верхней строке которой представлен вектор весов критериев, а в каждом столбце - вектор весов альтернатив по отношению к каждому критерию.

При расчете окончательных рейтингов альтернативных вариантов перевода необходимо для каждой альтернативы поэлементно умножить строку вектора весов критериев на строку, содержащую все локальные веса данной альтернативы, как это показано в примере для первой альтернативы.

Г = (0,294 х 0,304) + (0,22 х 0,3) +...+ (0,036 х 0,169) = 0,294004

В результате проведенных вычислений мы получили, что лучшим переводом является перевод ПТ1, так как он имеет приоритет 0,294, а далее по убыванию следуют переводы ПТ3, ПТ4, ПТ5 и ПТ2 со значениями 0,261; 0,213; 0,123 и 0,109, соответственно. Для того чтобы сравнение данных результатов с оценками, выставленными преподавателем на предыдущем этапе эксперимента, было более прозрачным, можно ввести в рассмотрение традиционную

5-балльную шкалу и составить пропорцию. Таким образом, сравнение оценок, выставленных преподавателем, и оценок, полученных по результатам эксперимента, может быть представлено следующим образом:

ПТ1 ПТ2 ПТ3 ПТ4 ПТ5

Оценка, выставленная

преподавателем 4 3 5- 5 3-

Оценка с использованием МАИ 5 2 4 4 2

Таким образом, когда речь идет об оценке качества перевода, неизбежно возникает вопрос о степени объективности последней, что непосредственно связано с разработкой методологии и методики оценки и выбором соответствующих критериев. Стремление к объективности, необходимость которой очевидна в сфере оценочной деятельности, с одной стороны, и субъективность как онтологическая характеристика

Т а б л и ц а 5

Рейтинг переводов по отношению к каждому критерию

Наименование критерия Рейтинг переводов Вектор приоритетов Оценка согласованности суждений экспертов

К1 Предметная ситуация ИТ ПТ1, ПТ3, ПТ4, ПТ2, ПТ5 (0,304; 0,213; 0,213; 0,117; 0,117) 0,00268

К2 Логическая организация ИТ ПТ1, ПТ3, ПТ4, ПТ2, ПТ5 (0,300; 0,269; 0,199; 0,133; 0,098) 0,011

К3 Прагматика ИТ ПТ1,ПТ3,ПТ4, ПТ2, ПТ5 (0,318; 0,277; 0,199; 0,110; 0,096) 0,003

К4 Лексическая сочетаемость ПЯ ПТ1, ПТ3, ПТ4, ПТ5, ПТ2 (0,300; 0,300; 0,194; 0,107; 0,098) 0,005

К5 Грамматические нормы ПЯ ПТ1, ПТ3, ПТ4, ПТ5, ПТ2 (0,262; 0,262; 0,242; 0,145; 0,089) 0,0162

К6 Орфографические нормы ПЯ ПТ1, ПТ4, ПТ2, ПТ3, ПТ5 (0,249; 0,230; 0,217; 0,175; 0,129) 0,008

К7 Пунктуационные нормы ПЯ ПТ1, ПТ4, ПТ2, ПТ3, ПТ5 (0,249; 0,230; 0,217; 0,175; 0,129) 0,000325

К8 Оформление ПТ ПТ3, ПТ5, ПТ4, ПТ1, ПТ2 (0,289; 0,233; 0,169; 0,177; 0,132) 0,0051

Т а б л и ц а 6

Итоговая оценка качества переводов

к1 (0,294) Кг (0,220) К3 (0,212) К4 (0,090) К5 (0,091) к6 (0,032) к (0,026) К8 (0,036) Глобальные приоритеты выбора, Г.

ПТ1 0,304 0,300 0,318 0,300 0,262 0,249 0,243 0,169 0,294004

ПТ2 0,117 0,098 0,11 0,098 0,089 0,217 0,079 0,132 0,109947

ПТ3 0,231 0,269 0,277 0,300 0,262 0,175 0,302 0,289 0,260516

ПТ4 0,231 0,199 0,199 0,194 0,242 0,23 0,243 0,177 0,213414

ПТ5 0,117 0,133 0,096 0,107 0,145 0,129 0,133 0,233 0,122809

последней - с другой, традиционно рассматривается как фактор, во многом затрудняющий работу исследователя или же ставящий под сомнение достоверность полученных результатов.

В нашей работе субъективность оценок перевода рассматривается как исходные данные задачи, для решения которой был выбран один из наиболее эффективных методов системного анализа - метод анализа иерархий (МАИ). Данный метод позволяет не только учесть субъективное мнение экспертов, осуществляющих оценку (в нашем случае - оценку перевода), но и выразить его количественно, а также просчитать степень согласованности представленных суждений.

Любое экспериментальное исследование, направленное на проверку той или иной рабочей гипотезы, безусловно, носит дискуссионный характер, и наша работа не является исключением. Более того, на данном этапе речь идет в большей степени о постановке проблемы, связанной с возможностью применения методики системного анализа как одного из способов оценки качества перевода. Научные перспективы исследований подобного рода мы связываем с возможностью формирования новой базы знаний в русле междисциплинарного подхода. В дальнейшем мы планируем увеличить объем исследуемого материала и расширить группу экспертов в целях уточнения промежуточных результатов и получения новых данных.

ЛИТЕРАТУРА

1. Алгазинов Э. К. Анализ и компьютерное моделирование информационных процессов и систем / Э. К. Алгазинов, А. А. Сирота. - М. : Диалог-МИФИ, 2009. - 416 с.

2. Гарбовский Н. К. Теория перевода / Н. К. Гарбов-ский. - М. : Изд-во Моск. ун-та, 2004. - 544 с.

3. Княжева Е. А. Переводческий анализ текста и качество перевода / Е. А. Княжева // Вестник ВГУ Серия : Лингвистика и межкультурная коммуникация. -2012. - № 1. - С. 170-175.

4. Цвиллинг М. Я. О критериях оценки перевода / М. Я. Цвиллинг // О переводе и переводчиках. - М. : Восточная книга, 2009. - С. 56-63.

5. Tirkkonen-Condit S. Argumentative Text Structure and Translation / S. Tirkkonen-Condit. - Jyvoskyla, 1985.

- 256 p.

6. Режим доступа: http://mt-archive.info/Aslib-1999-Schutz.pdf

7. Режим доступа: http://ebookbrowse.com/ata-stan-dard-error-marking-scheme-pdf d158002765

8. Режим доступа: http://www.translationquality.com/ files/MeasuringLanguageQualityWith_TQI.pdf

9. Режим доступа: http://management.ebooks6.com/ The-Measurement-of-Quality-in-Translation-Using-Statis-tical-Methods-download-w4728.pdf

10. Режим доступа: http://www.mirror.co.uk/news/uk-news/scandal-of-royal-mails-rich-bosses-379974

Воронежский государственный университет Княжева Е. А., кандидат филологических наук, доцент кафедры теории перевода и межкультурной коммуникации

E-mail: knel@cs.vsu.ru Тел.: 8 (473) 222-73-62

ООО «НетКрэкер»

Пирко Е. А., аналитик

E-mail: ekaterina.pirko@gmail.com

Тел.: 8 (980) 545-76-45

Voronezh State University

Knyazheva E. A., Candidate of Philology, Associate Professor of the Translation andIntercultural Communication Department

E-mail: knel@cs.vsu.ru Tel.: 8 (473) 222-73-62

NetCracker LTD Pirko E. A., Analyst E-mail: ekaterina.pirko@gmail.com Tel.: 8 (980) 545-76-45