感谢您关注“永大英语”！

多模态语篇的评价研究：过去、现在与未来

** 瞿 桃

摘要：**的评价研究主要针对语言语篇，多模态语篇的评价研究是一个较新的研究领域。本文针对国内近20年来多模态语篇的评价研究情况，从研究现状、研究路径、存在的问题和展望四个方面展开讨论。近20年来国内多模态语篇的评价研究主要涉及三大议题，即多模态评价框架建构、多模态语篇实例**和评价研究述评。近20年来国内多模态评价**有两大路径，即系统功能语言学研究路径和认知语言学研究路径。两大路径所使用的具体理论主要为评价理论、视觉语法、多模态隐喻和认知评价理论。目前国内对于多模态语篇的评价研究尚处于起步阶段，在理论模型、语境层面、研究对象和**诸方面存在局限性。文章对未来的**趋势进行了展望。

关键词：多模态语篇；评价；现状；局限性；展望

1．引言

20世纪90年代，马丁(James R．Martin)及其团队在研究澳大利亚语文水平的**中，注意到系统功能语言学理论在赋值语义研究方面的欠缺，于是创建了评价系统 (Martin 2000 ; Martin ＆ White 2005)。** (2001)通过《评价系统及其运作——系统功能语言学的新**》一文将马丁的系统功能语言学评价观正式介绍到中国。该评价观旨在研究说话者的赋值语义(semantics of evaluation)。具体而言，它通过介入、态度和级差三大子系统，研究说话者的感情、判断和鉴赏、话语中声音的来源以及态度的程度(** 2001)。本文讨论我国学者的多模态语篇评价研究，检视其优缺点，促进其优化。

在探讨多模态语篇的评价研究之前，我们首先讨论一下模态和多模态语篇。根据社会符号学理论，模态是“由社会文化塑造的表达意义的符号资源”(Kress 2010:79)。语言、图像、声音、动作等模态都是完整的表意系统，可以用来实现概念、人际、谋篇三大意义。O’Halloran (2011)、Forceville (2009:22)、顾曰国(2006)等学者则从听觉、视觉、触觉等感官视角来定义模态。多模态语篇是指运用听觉、视觉、触觉等多种感觉，通过语言、图像、声音、动作等多种手段和符号资源进行交际而形成的语篇(张德禄 2009)。多模态话语**将多种模态纳入研究范围，探讨各种模态如何协同互动产生意义。

从20世纪90年**始，科技的**使多模态特征越来越明显，多模态话语研究迅速**起来。学者们为图像(Kress ＆ Van Leeuwen 1996; 2006)、音乐(Van Leeuwen 1999)、手势(Martinec 2000)、数学符号(O’Halloran 2005)、电影(Bateman ＆ Schmidt 2012)的研究构建了语法语义系统，为模态关系构建了研究框架(Royce 1998; O’Halloran 2003; Martinec ＆ Salway 2005; 张德禄 2009)。此外，以概念隐喻理论为基础，认知视角的多模态隐喻研究也**得如火如荼 (Forceville ＆ Urios-Aparisi 2009)。

在国内，评价研究蓬勃**。但是，一直以来，其研究对象主要集中于语言模态。根据社会符号学理论，图像、音乐、动作等模态与语言模态一样，是完整的表意系统，实现三大意义。因为非语言模态也能够表达评价语义，所以在对多模态语篇进行评价研究时，有必要将多种模态同时纳入研究范围。在国外，马丁早在2001年就研究了图像中的态度意义和图文关系(Martin 2001)，并在The Language of Evaluation: Appraisal in English一书中指出，随着人际意义研究的**，当我们从功能语言学视角扩展到社会符号学视角时，对副语言(手势、表情、笑声、音质、响度等)和其他模态(图像、音乐、动作等)的研究是下一步态度研究的核心领域(Martin ＆ White 2005: **)。

自评价系统(APPRAISAL System)诞生以来，国内的评价研究**迅速，已有多位学者做过语言为模态的语篇中的评价研究综述(刘世铸 2010 ; ** 2012 ; 徐玉臣 2013 ; 刘兴兵 2014)。不过，这些综述对多模态语篇的评价研究缺乏深入探讨。本文将从研究现状、研究路径、存在的问题与展望几个方面，讨论20年来国内多模态语篇的评价研究。

2．研究现状

2．1 研究**和量化统计

我们在中国知网上输入关键字“多模态”加上评价理论相关词语如:“评价系统”“评价理论”“介入(系统)”“态度(系统)”“级差(系统)”“自言”“借言”“单声”“多声”“对话性”“对话收缩”“对话扩展”“判断”“情感”“鉴赏”“语势”“聚焦”“清晰”“模糊”等这些评价系统中的关键词进行检索，共**相关文献67篇。其中，期刊文章35篇，硕士博士论文32篇。国内相关研究从2008年起，呈逐步上升趋势，2015年以后**较快，2016、2019分别有10篇，2018有11篇。但是20年来只有67篇相关文献，说明多模态语篇的评价研究仍有很大的**空间(详情见2．2节)。

2．2 主要议题

目前国内的多模态评价研究的语篇类型多样，视角不一。本文根据研究内容的侧重点将多模态语篇评价相关的国内研究分为三大议题:理论建构、实例**和研究述评。67篇论文中，第二类最多，有58篇，占了86．5%。第一类只有4篇，第三类有5篇。下面我们将分别探讨三类议题的研究情况。

2．2．1 理论建构

从**的文献看，多模态话语**的主要理论基础是系统功能语言学和认知语言学，研究视角多为社会符号学和概念隐喻(张德禄、郭恩华 2013)，目前多模态评价框架的建构基本也是从这两大视角建构的。根据系统功能语言学理论，语言是社会符号，具有意义潜势(Halliday 1978)，语言研究的成果对其他符号系统同样具有适用性(Kress ＆ Van Leeuwen 2006:19; 李战子、陆丹云 2012)，这也是将基于语言的评价理论用于多模态语篇评价研究的重要理据。但是，基于语言的评价理论在应用于多模态语篇的**时有其局限性，主要表现在语言与其他模态的可供性(affordance)差异、模态关系和认知依据三个方面。目前国内学者的多模态评价框架建构主要是在这三个方面**马丁的评价框架的。

首先，语言和图像等其他模态虽然都具有意义潜势，能实现概念、人际和谋篇三种意义，但其表征手段有所不同(Kress ＆ Van Leeuwen 2006:20)。比如，语言中能划分名词、动词等，而图像与音乐模态则很难按词汇**进行划分。图像中的拍摄角度是其表达态度的重要**，而语言系统中则没有拍摄角度这种空间性的评价手段。针对语言评价理论在多模态语篇**上的局限，学者们目前的解决方案是在原语言评价框架的基础上，融合多模态话语**理论。例如，针对图像无法像语言一样进行“词汇”**的问题，裴少文(2014)借鉴多模态互动理论(Norris 2004)框架，从面部表情、头部**、手势、衣服等维度对图像的评价意义进行研究，从而解决了**单位的问题。为了探讨图像特有的评价手段，陈瑜敏(2008)借用社会符号学的视觉语法(Kress ＆ Van Leeuwen 2006)观点，从镜头距离、拍摄角度、目光**等方面**了公益**画面中的评价意义，发现**画面的设计可以让观众对**的态度从超然(detachment)转为卷入(involvement)，而视觉图像也能起到为整个**穿针引线、奠定感情基调的作用。

其次，以语言为主的评价**只需要考虑一种模态，但纳入多种模态后，不可避免地要考虑模态间关系。各种模态如何共同表达意义是多模态话语**的一个重要方面(张德禄 2009)，也是语言评价理论用于多模态语篇评价时急需**的一个方面，因为它直接关系到**的完整性。目前国内对模态之间关系的**主要基于多模态话语**在这方面已有的研究成果，包括Royce(1998)构建的符际互补理论框架、Lemke(1998)提出的“意义相乘”图文关系**、Martinec ＆ Salway(2005)构建的基于逻辑语义的图文关系框架、张德禄(2009)基于强化与非强化关系构建的模态关系框架等。比如，石春煦、**(2015)基于Martin ＆ Rose(2007)对已有图文关系成果的整合，从逻辑语义关系、图文界限、图文追溯三个维度来探讨多模态历史教科书中的图文关系。他们发现，在多模态历史教科书语篇中，图像、文字以扩展关系为主建构评价语义。在评价的实例化**中，以不同图文关系建构的评价对历史文类的选择有一定的盖然性(石春煦、** 2015)。多模态语篇中，各种模态都能够表达情感、判断、鉴赏等意义，但语篇的整体评价意义并不是这些意义的简单相加，而是这些模态进行合作或者竞争之后的结果，所以只有将模态间关系纳入**框架里，评价**才会全面和完整。值得注意的是，就我们**的文献来看，不少研究在分别讨论语言和非语言符号的评价意义之后，并没有**各种模态如何相互联系表达多模态语篇的整体评价。

如前所述，系统功能语言学和认知语言学是多模态话语**的两种视角，目前对马丁的评价框架进行**的另一种**是结合认知语言学的成果对其进行**，为其基于语言现象总结出来的情感、判断和鉴赏等态度系统提供认知理据。比如，由于马丁的评价理论在形式和相关的意义范畴化方面还存在不足(张德禄、刘世铸 2006)，有学者认为其情感意义的分类缺乏认知心理依据(Feng ＆ O’Halloran 2013)，所以冯德正、亓玉杰(2014) 借鉴认知心理学理论，以诱发条件为**对态度系统进行了重新分类，也就是，按事件(是否合意)、行为(是否可取)和事物(是否喜欢)三大**将评价意义范畴化，使其分类更加全面准确。在此基础上，他们结合“诱发条件 － 内心态度 － 行为表达”的态度图式，从诱发条件和行为表达两个维度提出了态度意义的多模态表征**。这是将语言评价理论与认知心理学进行结合的很好尝试，它使基于语言系统的评价理论在应用于多模态语篇时具备更充分的认知基础，**了语言理论的适用性，也拓宽了心理学理论的应用领域。

2．2．2 实例**

国内对多模态语篇实例进行评价**的研究较多。这些研究旨在通过对某个特定语篇的**，阐释其语篇特征、态度资源或评价机制。语篇类型按数量多少排序分别是:**(17篇)、新闻(10篇)、电影(9篇)、**(5篇)、法律(4篇)、教育(4篇)、**(4篇)、童话(2篇)、企业年报(2篇)、演讲(2篇)、小说(2篇)、纪录片(2篇)、**秀(2篇)。可见在研究对象上，目前的研究主要集中于传媒语篇，对于自然交际、舞台表演、三维空间等类型的多模态语篇关注较少。

在实例**中，**的角度主要有以下几种:第一，对语篇进行多模态话语三大意义的**，并把评价理论作为解读人际意义的工具。在研究的范围方面，有些研究的**范围包括评价系统的介入、态度、级差三个子系统，有些只选其一。第二，在做多模态隐喻、符号重构、互文、语类等研究时，将评价理论作为**的手段之一。第三，以多模态语篇的评价或者态度**为目标，从批评话语**和积极话语**视角来阐释语篇的评价意义、表征资源和实现机制。

2．2．3 研究述评

主要议题的第三类是评价研究述评，共有5篇文章，其中包括:多模态人际功能述评(1篇)、语篇**述评(2篇)、积极话语**述评(1篇)、中国形象话语研究述评(1篇)。在这些述评中，多模态语篇的评价研究都只是其很小的一方面。从这些综述来看，近年来国内话语**正从语言语篇**转向多模态语篇**，而国内功能语篇**的重要主题和手段之一就是评价。评价研究是多模态人际功能研究的一大重点，目前有学者从语言、图像、颜色、字体的评价等方面进行研究。另外，除了将评价理论用于批评话语**，近年来评价理论也成了积极话语**的主要研究路径 (杨林秀、赵浩 2018)。但是，刘兴兵(2014)明确指出“**多模态语篇如何表达评价意义也是急待开拓的领域”，说明国内在多模态语篇的评价研究方面还有很大的**空间。

3．研究路径

多模态语篇的评价研究关注的是语篇的人际意义，旨在**符号使用者如何通过各种符号资源表达对人、事、物的立场和态度。国内相关研究主要采取两大路径，一种是基于系统功能语言学的多模态评价路径，主要以Martin(2000)创建的评价系统为**框架，结合视觉语法进行视觉模态**。另一种是基于认知心理学的多模态评价路径，以冯德正、亓玉杰(2014)构建的认知评价框架为基础，**多模态语篇中的评价意义如何实现。第一种路径是主要路径，占到了近20年相关文献的85．2%;第二种认知路径只占14．8%。下面我们将对这两个路径作详细说明。

3．1 系统功能语言学评价路径

此路径主要是借用Martin创建的评价系统，从介入、态度、级差三个方面对多模态语篇进行**(具体框架见** 2001)。对于语言符号来说，系统功能语言学已经建立了较完善的词汇语法和语篇语义**框架。而对于图片、表情、动作、音乐、空间等其他模态，则借鉴多模态话语**的理论框架进行阐释。在此基础上，综合语言和非语言**的结果，根据图文关系框架讨论模态间关系。以下我们将从语言评价、非语言评价、模态间关系三方面讨论国内多模态语篇的系统功能语言学评价研究路径。

3．1．1 语言的评价**路径

语言评价**主要以Martin的评价理论为基础，从介入、态度、级差三大语义系统**语言资源，主要涉及语义的词汇语法表征、语篇的**结构、评价的实现**等。具体操作上，一般是划分小句成分，进行词汇语法手段的量化统计，再探寻数字背后的评价意义，**作者如何使用评价资源与读者进行结盟、如何设计读者的阅读取位等等。对语言的评价研究，目前国内多关注词汇语法资源，即便是演讲、**等口语为主的多模态语篇，也缺乏对**等听觉特征的系统**。

3．1．2 非语言的评价**路径

对于非语言模态的评价，国内主要关注的是图像、表情、动作等视觉模态，听觉、触觉模态少有人涉及。在系统功能语言学视阈下，非语言符号的评价**的主要理论基础是视觉语法中的互动**框架(Kress ＆ Van Leeuwen 1996，2006)。该框架提出，图像创造者从协商、社会距离和态度三方面构建互动意义，设计观众与图像互动的**。这些**体现出创作者对其所设计的图像的态度与立场，这种态度与立场也是创作者希望观众接受的立场，希望与观众对此达成一致，形成联盟。研究者通过使用视觉语法中的目光**、镜头距离、拍摄角度、人物表情等范畴来**创作者立场与态度的视觉表征。比如，陈瑜敏(2008)通过对一则**公益**的电视画面**，指出**人物直视观众的目光是要求观众采取行动，近距离的特写镜头**了“个人近距离”的社会关系，拍摄角度从侧面到正面的转换让观众从超然(detachment)的态度转为卷入(involvement)，而微笑表情和握拳手势为整个**奠定了积极的情感基调。在评价意义的实现机制方面，目前的研究主要借鉴马丁对语言现象的总结，从内嵌(inscribe)和引发(invoke)两个方面来考察各种模态资源如何实现情感、判断、鉴赏等态度意义。

3．1．3 模态间关系**路径

多模态语篇的评价研究其重点是**模态间的关系，探讨各模态如何共同表达评价意义。目前国内多模态语篇的评价研究在**模态间关系时，主要有以下情况。

第一种情况，笼统表明多模态的表征**加强了评价意义。如在图文语篇中会出现“意义相乘”的效果(陈瑜敏 2008)，但没有具体讨论这种效果是如何实现的，对模态间关系的阐释不太清晰。

第二种情况，基于系统功能语言学的逻辑语义和衔接等理论，从模态的总体分布、模态协同和语篇**三个方面**模态间关系。总体分布通过量化统计来揭示各模态资源在整个语篇中的分布情况，模态协同包括意义和时间两个维度，探索同一意义如何由不同模态协同表征，可能是强化、互补、互斥关系中的一种。时间维度主要**评价词汇、**特征和**动作等的时间同步特征。语篇**的**以镜头为单位，考虑多模态语篇的衔接关系、预期关系和因果关系。亓玉杰(2010)以《老友记》为语料，通过对模态关系的**，发现态度资源由多模态共建，模态间关系不仅**态度意义，而且对电影语篇的衔接研究有启发。

第三种情况，综合国外已有的图文关系研究框架进行模态间关系**。比如，Martin ＆ Rose (2007:329)对国外的图文关系框架进行了总结和整合，构建了从逻辑语义、空间界限、溯源互文三个方面**图文关系的模型。石春煦、**(2015)基于此框架**了历史教科书中扩展型和投射型的图文评价、图文之间的空间边界以及图文的互指关系，发现历史文类多模态语篇中，图文评价以扩展关系为主，而且详述型数量居多。

3．2 认知语言学评价路径

认知语言学中的概念隐喻理论和认知心理学中的认知评价理论是目前用来进行多模态话语**的两大理论基础。前者主要用于**多模态隐喻如何表征评价意义，后者用来为语言评价框架提供认知理据，**原框架。

3．2．1 基于多模态隐喻的评价路径

认知语言学中概念隐喻理论的核心观点是，“隐喻本质上是一种思维和行为**，人们往往借助具体的身体体验来理解和感知抽象的概念;前者是源域，后者是目标域;源域投射到目标域的属性为映射项”(张德禄、郭恩华 2013)。在多模态语篇的评价研究方面，隐喻主要具有以下作用:表达评价、激发评价、调节语势、指示阅读路径等。在评价意义的表征机制中，激发(provoke)是重要的手段之一，而在视觉图像中，激发常常由概念隐喻实现(Economou 2009:109)。比如，潘艳艳(2011)**了一幅**漫画中的多模态隐喻:长城边的龙开门把提**包的男人放进来了，却把女神关在门外，龙脸上做出极为恐惧的表情。从多模态隐喻的视角看，龙隐射中国，女神隐射自由，提**包的男人隐射经济，开门的行为隐射经济改革。在评价意义上，龙用表情表达出对自由女神的情感是恐惧，而作者通过漫画想要激发的是读者对中国和中国经济改革的消极评价，想要与西方对中国有负面印象的观众结盟(潘艳艳 2011)。多模态隐喻与语言隐喻一样，可以调节语势，比如通过图像的大小来表达评价程度的强弱。在阅读路径方面，陈树坤(2014)研究了由两张图片组合而成的图像复**，左侧图像中的人物驾船行驶的方向形成了向量(vector)，引导读者从其手看向右侧的图像，由此形成了阅读路径隐喻，使右侧图像成为评价的对象，而左侧人物的微笑表情则表达了肯定的态度。

3．2．2 基于认知评价的路径

冯德正、亓玉杰(2014)借鉴Frijda(1986)和Lazarus(1991)的认知评价(cognitive appraisal)理论，通过触发条件、内心态度、行为表达三阶段的态度图式，考察多模态语篇中评价资源。此路径旨在弥补马丁评价系统认知理据不足、对情感等态度系统的分类不全面的问题。他们基于诱发条件，将原评价系统的态度系统按事件结果、主体行为、事物特征进行重新分类，进一步明确了情感、判断和鉴赏三者的关系。然后从态度诱发条件的多模态表征和态度意义的行为反应体系两方面建构多模态表征框架。此态度评价框架在建立后，**后续研究者的认可和使用，在我们搜集的文献中，此路径约占所有研究的14．8%。比如，毛现桩(2017)利用此框架**了春晚电视公益**，发现其诱发条件多为视觉资源，态度主要由语言和表情表征，评价意义经历从负面到正面的转换**，最终实现价值导向。认知评价框架在系统功能语言学的评价理论和社会符号学理论的基础上，借鉴了认知心理学的研究成果，将语言模态和非语言模态纳入统一的框架之中，便于实践操作。但此框架主要针对态度系统，对介入和级差系统没有涉及。

4．多模态语篇评价研究中存在的问题

4．1 理论方面的问题

理论方面，目前国内进行多模态语篇的评价研究主要依据国外的理论模型，包括评价系统，视觉语法互动框架、多模态隐喻理论、认知评价**、基于逻辑语义的模态间关系**等。这些理论模型为评价研究提供了参考和借鉴，对于个案**有较大的应用价值。但是，这些模型大多并非为多模态语篇的评价**量身打造。因此，国内研究者有必要针对其局限性加以**和**。以下我们将从框架构建、模态表征和模态间关系三个方面，对目前研究中的一些问题加以讨论。

在多模态语篇的评价框架构建方面，目前研究者对问题的处理**主要有三种:一是将语言评价意义系统直接作为多模态语篇评价**框架，结合视觉语法等来**这些评价意义的多模态表征。二是将语言评价框架和视觉互动框架兼用，在**时将语言和非语言分开，使用不同的框架分别进行**。三是借鉴认知心理学理论，构建认知评价框架。第一种**缺乏对语言系统和其他模态系统的可供性差异的考虑，导致**不够全面系统，因为语言的评价语义潜势不一定都能由其他所有模态实现，而其他模态的评价意义也不一定都表现在语言的评价意义系统中，不建议使用这种**。使用第二种**的研究者很清楚，无论是语言评价框架还是视觉互动框架，都无法单独担任多模态语篇的评价框架，所以选择了两者兼用。但语言评价系统和视觉互动系统的**范畴并不对等，两个框架需要整合。互动框架涵盖了人际语义系统中的协商、评价和介入三大子系统，评价系统只是人际语义系统中的一种(Martin ＆ White 2005: 35)。研究者需要根据视觉、听觉、空间等多种模态的特征对互动系统中的评价子系统进行**，并详细讨论模态间关系，最好能构建涵盖多种模态的统一框架。第三种**为目前的多模态评价研究提供了认知视角，构建的态度评价框架**了后续研究者的应用。但它只构建了态度框架，对介入和级差没有触及，需要学者将其进一步**完善。

在评价意义的模态表征方面，目前有些研究基于社会符号学，尤其是视觉语法理论，探索图像如何实现评价意义，另一些基于多模态隐喻理论，探讨符号资源如何隐性地表达态度，激发读者的评价。值得注意的是，在意义的模态表征上，社会符号学路径和概念隐喻路径并不能完全分离，社会符号学视角可以为概念隐喻提供阐释功能，而概念隐喻可以为社会符号学提供认知理据(张德禄、郭恩华 2013)。如果将两者结合起来使用，将更有利于进行多模态语篇的评价研究。除此之外，目前在语言和视觉图像的表征**方面取得了长足的**，但在**特征、音乐、空间等其他符号形式的评价意义探索方面非常欠缺，即便是在语言评价**上，对口语**特征的关注也非常缺乏，值得研究者做进一步的系统**。

在模态间关系的研究方面，目前的多模态评价研究主要借鉴国外的**框架，从逻辑语义、衔接、互文等方面进行**，对探索多种模态如何共同实现评价语义有一定的帮助，但也有一些问题。首先，目前的研究没有系统地**各模态如何在人际方面进行协同，大多着重于概念意义的衔接和强化，可以借鉴Royce (1998) 提出的图文人际关系框架，从模态之间的语气强化(reinforcement of address)、态度一致性(attitudinal congruence)和态度不协调性(attitudinal dissonance)三个维度对多模态语篇进行**。其次，目前的研究大多关注模态意义的协同，但根据会话**理论，多模态协同包括模态、时间和空间三个方面(靳晟 2017)，建议在模态关系**时**时间和空间维度。

4．2 语境方面的问题

张德禄(2018)指出，从语言单模态语篇到多模态语篇，语境层面发生了不可忽视的变化，即语言语境内容层的物质语境因素转化为多模态语境表达层的物理生理语境因素。在表达层上，目前的研究都意识到了话语意义由多种模态共同实现，但模态的分工其实在语境和语类层面就开始了(Halliday ＆ Matthiessen 2014)，而目前很少有研究**各种符号系统在情境中各起什么作用。对语境层面的忽视导致了以下几个问题：

首先，文化语境方面的问题。广泛借鉴国外心理学和符号学领域的经典成果对目前的多模态评价很有帮助，但****中需要注意国外成果的本土化和适用性问题。如果没有考虑文化的差异就直接拿来解读国内语篇的符号意义容易造成误读。从语类层面来说，从行为潜势到意义潜势的**充满了不同模态的整合与贡献，这也是目前研究需要注意的。

其次，情景语境方面的问题。目前有些评价研究**了多模态语篇的评价意义是什么，却没有进一步研究为什么是这样，以及和以往的社会活动有什么关联。我们需要关注过去和现在的社会活动与当前语篇的关系，将其作为语篇产生的动因和语篇解读的基础。此外，我们还应注意的是，从单模态语篇到多模态语篇，情景语境中的话语**发生的变化。

第三，模态**与语境层联系的问题。目前的研究在阐释符号的评价意义时**详细到位，但没有上升到模态的可供性层面。也就是说，没有上升到语境层面来解释为什么使用这种模态而不是另一种。而对于符号可供性的研究能为符号的使用与解读提供更有效的指导。比如，符号使用者使用了一个微笑的表情，我们仅仅点明这个微笑的表情表达的是**的情感是不够的，因为语言和表情都是可以表达这种情感的，为什么就选择了表情而不是语言呢? 要解释这个问题，就需要上升到语境层面，在符号的可供性上进行**。语言和表情的可供性是不同的，在感染观众和引起共鸣方面的作用是大相径庭的，语言中诸如“**”这样的词汇间接而抽象，但“微笑”的表情却是直接而具象的。

最后，语篇解读时的语境时间空间性问题。从时间空间性上来看，语境可以分为现场语境和移位语境。前者是指语篇的生产和接收是在现场现时进行的，如课堂教学语篇。后者指语篇的生产和接收不同步，如电视语篇，生产完成后一段时间才移至观众面前，观众并不了解生产时的语境是什么样子。目前的评价**很少考虑到这方面的因素。建议研究者区分现场语境和移位语境，因为后者脱离了语篇产生的**，舍弃了原语境的部分内容，会**解读的困难，也会**解读者对创作者意义的忠实性。

4．3 研究对象和**的问题

多模态话语**的研究对象非常广泛，几乎囊括了人类所有交际媒介和符号形式，包括图画书与漫画、课堂教学、电影、网络媒体、舞台表演等(冯德正 2017)。但是，目前国内多模态语篇评价研究的对象主要是传媒语篇，对三维空间和课堂教学、医患话语、日常会话等自然交际类的语篇研究很少。另外，虽然目前评价**从语言模态扩展到了图文等多模态，但对听觉模态的研究还很欠缺，对于口语**特征和音乐等的评价**非常少。

研究**方面，目前国内大部分的研究为个案**。此类研究对某个**或电影等进行语言和非语言模态的描述，阐释其评价意义，对研究对象的理解比较深入，但普适性不高。只有对大量的同类语篇进行定量**，才能总结出特定的语类特征，归纳出有意义的评价**，进一步反哺理论框架(潘艳艳、李战子 2017)。**视角上，目前多集中于社会符号学和多模态隐喻视角，多模态话语**的其他路径如会话**、多模态民族志、地理符号学、多模态语料库和多模态感知等(潘艳艳、李战子 2017)基本还没有在评价**中使用，说明未来在研究**上还有很大的创新空间。

5．展望

目前的研究基本是直接借用国外的语言评价模型，或者将语言评价模型和多模态话语**模型组合使用，理论创新性不足，在一定程度上阻碍了多模态语篇评价**的繁荣**。解决这个问题，首先要构建**多模态语篇评价的理论框架，不仅要考虑语言、视觉、听觉、空间等多模态评价表征资源，更要考虑合理解释模态间的关系，考虑多种模态如何相互联系，如何实现评价意义，达到交际目的。

多模态研究本身是一个交叉学科的领域，未来在多模态评价研究中，不仅要**语言学流派如系统功能语言学、认知语言学、语料库语言学、语用学、修辞学之间的融合，还要将语言学与心理学、传播学、教育学、艺术学、社会学等相结合，实现互补，促进多模态评价领域的跨学科**。可喜的是，目前已经有学者将系统功能语言学和认知语言学相结合，也有语言学和心理学相融合的研究成果出现。未来，学科融合的进一步**，不仅需要语言学者学习和利用其他学科的知识，更需要与其他学科的研究人员进行跨界合作，发挥各自的专长，推动本领域的繁荣与进步。

最后，人工智能和大数据技术将推动多模态语篇评价研究的**，促进多模态语料的定量**。**上多模态**软件如ELAN等需要依靠研究者先对**进行文字转录，再对非语言模态进行手工标注，最后再进行评价**，非常耗时耗力，这也是阻碍多模态语篇量化**的重要原因之一。近年来**识别技术快速**，加上大数据的加持，**的自动转写效率和正确率都已经非常可观。另外，人工智能的**使计算机的图像识别能力大大提高，可以对人类的表情图像进行深度学习，目前已经有软件可以做到基本表情的自动识别，此类软件普及之后将大大提高多模态语篇的**效率。

参考文献

［1］ Bateman，J．＆ K．H．Schmidt．Multimodal Film Analysis: How Films Mean［M］．London: Routledge，2012．

［2］ Economou，D．Photos in the news: Appraisal analysis of visual semiosis and verbal-visual intersemiosis［D］．Sydney: The University of Sydney，2009．

［3］ Feng，D．＆ K． L． O’Halloran． The multimodal representation of emotion in film: Integrating cognitive and semiotic approaches［J］．Semiotica，2013，197: 79－100．

［4］ Forceville，C．Non-verbal and multimodal metaphor in a cognitivist framework: Agendas for research［C］/ /Forceville，C．＆ E．Urios-Aparisi．Multimodal Metaphor．Berlin: Mouton de Gurter，2009．19－35．

［5］ Forceville，C．＆ E．Urios-Aparisi．Multimodal Metaphor［M］．Berlin: Mouton de Gruyter，2009．

［6］ Frijda，N．The Emotions［M］．Cambridge: Cambridge University Press，1986．

［7］ Gu，Y．Multimodal text analysis: A corpus linguistic approach to situated discourse［J］．Text ＆ Talk，2006，26(2): 127－167．

［8］ Halliday，M．A．K．Language as Social Semiotic: The Social Interpretation of Language and Meaning［M］．London: Edward Arnold，1978．

［9］ Kress，G．Multimodality: A Social Semiotic Approach to Contemporary Communication［M］．London: Routledge，2010．

［10］Kress，G．＆ van Leeuwen，T．Reading Images: The Grammar of Visual Design［M］．London: Routledge，1996．

［11］Kress，G．＆ T．van Leeuwen．Reading Images: The Grammar of Visual Design［M］．London: Routledge，2006．

［12］Lazarus，R． S．Emotion and Adaptation［M］．New York: Oxford University Press，1991．

［13］Lemke，J． L．Multiplying Meaning: Visual and Verbal Semiotics in Scientific Text［C］/ / Martin，J．R．，＆ R．Veel．Reading Science: Critical and Functional Perspectives on Discourses of Science．London: Routledge，1998．87－113．

［14］Martin，J．R．Beyond Exchange: Appraisal Systems in English ［C］/ /Hunston，S．＆ G．Thompson．Evaluation in Text: Authorial Stance and the Construction of Discourse．Oxford: Oxford University Press，2000．142－175．

［15］Martin，J．R．Fair trade: Negotiating meaning in multimodal texts［C］/ /Coppock，P．The Semiotics of Writing: Transdisciplinary Perspectives on the Technology of Writing．Belgium: Brepols，2001．311－338．

［16］Martin，J．R．＆ R．David．Working with Discourse: Meaning Beyond the Clause［M］，2ed．New York: Continuum，2007．

［17］Martin，J．R．＆ P．R．R．White．The Language of Evaluation: Appraisal in English［M］．London: Palgrave，2005．

［18］Martinec，R．Types of process in action［J］．Semiotica，2000，130(3－4): 243－268．

［19］Martinec，R．＆ A．Salway．A system for image — text relations in new (and old) media［J］．Visual communication，2005，4(3): 337－371．

［20］Norris，S．Analyzing Multimodal Interaction: A Methodological Framework［M］．London: Routledge，2004．

［21］O’Halloran，K．Intersemiosis in mathematics and science: Grammatical metaphor and semiotic metaphor［J］．Amsterdam Studies in the Theory and History of Linguistic，2003，4: 337－366．

［22］O’Halloran，K．Mathematical Discourse: Language，Symboli** and Visual Images［M］．London: Continuum，2005．

［23］O’Halloran，K．Multimodal discourse analysis［C］/ / Hyland，K．＆ B．Paltridge．Companion to Discourse．London: Continuum，2011．120－137．

［24］Royce，T．D．Synergy on page: Exploring inter-semiotic complementarity in page-based multimodal text［J］．JASFL Occasional Papers，1998，1(1): 25－29．

［25］Van Leeuwen，T．Speech，Music，Sound［M］．Houndmills: Palgrave Macmillan，1999．

［26］陈树坤．符号重构视角下的图像复**功能**——以英语沙龙**为例 ［J］．外国语文，2014，30(1): 83－87．

［27］陈瑜敏．**电视公益**多模态评价意义的构建［J］．北京科技大学学报(社会科学版)，2008，(3):108－114．

［28］冯德正．多模态语篇**的基本问题探讨［J］．北京第二外国语学院学报，2017，39(3): 1－11+132．

［29］冯德正，亓玉杰．态度意义的多模态建构——基于认知评价理论的****［J］．现代外语，2014，37(5): 585－596 +729．

［30］靳晟．会话**视角下的多模态协同研究［J］．中国外语，2017，14(6): 35－42．

［31］李战子，陆丹云．多模态符号学: 理论基础，研究途径与**前景 ［J］．外语研究，2012，(2): 1－8．

［32］刘世铸．评价理论在中国的**［J］．外语与外语教学，2010，(5): 33－37．

［33］刘兴兵．Martin评价理论的国内文献综述［J］．英语研究，2014，12(2): 6－11．

［34］潘艳艳．**漫画中的多模态隐喻及身份构建［J］．外语研究，2011，(1): 11－15．

［35］潘艳艳，李战子．国内多模态话语**综论(2003—2017)——以CSSCI来源期刊发表成果为考察对象［J］．福建师范大学学报(哲学社会科学版)，2017，(5): 49－59+168－1**．

［36］裴少文．论评价理论和多模态互动理论对**语篇人际意义的构建［D］．北京: 北京交通大学，2014．

［37］石春煦，**．多模态历史教科书中评价语义的图文双重建构［J］．当代外语研究，2015，(9): 8－14+76．

［38］**．评价系统及其运作——系统功能语言学的新**［J］．外国语，2001，(6): 13－20．

［39］**．评价理论研究在中国［C］/ /黄国文，辛志英．系统功能语言学研究现状和**趋势．北京: 外语教学与研究出版社，2012．210－238．

［40］徐玉臣．中国评价理论研究的回顾与展望［J］．外语教学，2013，34(3): 11－15．

［41］杨林秀，赵浩．希望的话语:国内积极话语**研究述评［J］．北京科技大学学报(社会科学版)，2018，34(3): 35－41．

［42］张德禄．多模态话语**综合理论框架探索［J］．中国外语，2009，16(1): 24－30．

［43］张德禄，郭恩华．多模态话语**的双**角——社会符号观与概念隐喻观的连接与互补［J］．外国语，2013，(3): 20－28．

［44］张德禄，刘世铸．形式与意义的范畴化——兼评《评价语言——英语的评价系统》［J］．外语教学与研究，2006，(6): 423－427+479．

基金项目：上海市社科规划青年课题“庭审冲突**的多模态建构研究”(2020EYY005)

Appraisal Study of Multimodal Texts in China: Past，Present and Future

Wang Zhenhua Qu Tao

Abstract: Appraisal studies in China, in most of the cases, have focused on linguistic texts, and the study of appraisal in multimodal texts is a relatively new field. For the purpose of further developing this theory, this paper examines appraisal studies of multimodal texts in China in the past two decades, and reviews the topics covered, methods used and problems found in the previous research. It is found that the previous researches have mainly done three jobs: modelling appraisal in multimodal texts, evaluating individual multimodal texts, and reviewing the development of appraisal studies. Previous multimodal appraisal studies in China have followed two major approaches. One is Systemic-Functional-Linguistics based, and the other is Cognitive-Linguistics based. Both of the approaches concern the appraisal theory, the grammar of visual design, multimodal metaphor, and cognitive appraisal theory. This paper also offers some suggestions for future studies.

Key words: multimodality; appraisal; retrospection; limitations; expectation

（本文首次发表在《外国语》2020年第6期）