标题：IT绩效评估
IT绩效评估的概念
任何一个评估体系都要解决“谁评估？评估什么？如何评估？”的基本问题，本文从这几个基本问题出发，对组织信息化绩效评估体系进行系统分析。 
“谁评估”实际是描述评估主体，即发起评估的人或组织。“评估什么”描述的是评估客体，即围绕什么进行评估，评估对象是什么？“如何评估”是一个较为复杂的问题，首先要在评估目标的指导下，形成一定的评估思路，沿着评估思路构建评估模型。评估模型又包括评估方法、评估基准、评估指标、评估数据，遵循一定的评估步骤，运用评估模型对评估的客体进行评估，最后得出评估结果，形成评估报告。 
上述这些内容就构成了组织信息化评估的整个体系。本文对这些内容进行有重点地探讨，最后结合具体信息化项目评估的案例，分析了如何具体运用该评估体系框架去进行实际的评估。
组织信息化绩效评估的体系框架
“谁评估”实际是描述评估主体，即发起评估的人或组织。“评估什么”描述的是评估客体，即围绕什么进行评估，评估对象是什么？“如何评估”是一个较为复杂的问题，首先要在评估目标的指导下，形成一定的评估思路，沿着评估思路构建评估模型。评估模型又包括评估方法、评估基准、评估指标、评估数据，遵循一定的评估步骤，运用评估模型对评估的客体进行评估，最后得出评估结果，形成评估报告。上述这些内容就构成了组织信息化评估的整个体系，如图1所示： 
资料来源：ITGov中国IT治理研究中心. 网址 itgov. org. cn评估主体与客体评估主体是指主要接受委托施予评估的组织、个人或工作组。信息化绩效评估的主体可以划分为两类：外部实体和内部实体，但由于评估目的和所处地位与角度不同，其关心的内容和侧重点就有所不同。外部实体主要包括受委托的第三方，内部实体主要是指组织自身或组织自身的某个部门。来自组织内外利益相关方对信息化绩效状况的关注，也奠定了对信息化绩效评估的广泛需求。 
评估工作组负责完成整个评估过程的各项具体工作，并向专家咨询组提供必要的政策、技术等方面咨询意见；专家工作组根据评估工作需要，负责向评估工作组提供有关资讯和参考意见。 
评估工作组应该遵循基本工作规范，独立、客观、公正地开展评估工作，排除各方面特别是被评估组织意愿的影响。但对被评估组织指出的评估工作和评估报告中存在的疏忽、遗漏、疑问应该认真予以解答和补充更正。 
评估客体指的是评估的对象。可以作为信息化评估对象的包括信息系统、组织信息化战略、信息化项目等。由于对评估的目的不同，存在着不同的评估需求，因而人们所评估的对象也会有一定的差异。评估步骤无论是内部评估，还是外部评估，所有的信息化评估都要遵循一定的工作程序，工作程序是指从确定评估对象至完成整个评估工作的过程。一般包括如下步骤： 
（1）确定评估对象，下达评估通知书，组织成立评估工作组和专家咨询组。评估通知书是值评估组织机构（委托人）出具的行政文书，也是组织接受评估的依据。评估通知书应载明评估任务、评估目的、评估依据、评估人员、评估时间和有关要求等事项。 
（2）拟定评估工作方案，搜集基础资料。评估工作方案是评估工作组进行某项评估活动的工作安排，其主要内容包括：评估对象、评估目的、评估依据、评估项目负责人、评估工作人员、工作时间安排，拟用评估方法、选用评估标准、准备评估资料以及有关工作要求等。 
（3）评估工作组实施评估，征求专家意见和反馈组织，撰写评估报告。评估工作组依据组织报送的资料进行基本评估。如果是组织内部进行评估，可以只对部分内容进行评估，受组织委托的职责而定。如果外部评估，则要有委托部门的指令，按照计划行事。 
（4）评估工作组将评估报告报送专家咨询组复核，向评估组织机构（委托人）送达评估报告和选择公布评估结果，建立评估项目档案等。 
评估工作正式开始前，评估工作组可以按照评估基本要求，组织组织有关人员进行自测。组织自测带有自愿和预备性质，自测报告应该有完整的工作底稿备查。 
评估工作组取得的评估结论应该与组织自测结论进行对照，及时对评估结论进行补充和修改，对评议工作组的评估结论和组织自测结论相差较大的，要进行基础资料的核对，找出差异原因，如依据充分应该对评估结论进行必要调整。评估报告和结果运用在信息化评估工作完成后，应该形成一个总的评估报告。评估报告是由评估工作组完成全部评估工作后，对信息化的效益状况和价值贡献等进行对比分析，客观判断形成的综合结论的文本文件。 
评估报告由正文和附录两部分组成。报告正文的主要内容包括组织系统基本情况描述、主要各项绩效指标对比分析、评估结论、评估依据和评估方法等。报告附录包括有关评估工作的基础文件和数据资料。评估报告要维护被评估组织的正当秘密。 
评估报告必须客观、公正、准确描述组织信息化的投入产出状况、后续发展能力等，并做出发展趋势预测。评估工作组在拟定评估报告过程中应该充分听取专家组的意见。对影响经营的客观情况应该在报告中予以充分说明。 
评估报告应该由独立的审计人员进行符合性审核，即：评估工作程序是否完整、评估方法是否正确、选用评估标准是否适当、评估报告是否符合规范等。 
评估结果应该反馈给组织决策部门，作为信息化投资决策、管理改善和绩效监管的参考依据；并作为对IT人员绩效考核的依据，同时也为有关部门提供信息咨询和管理参考信息化绩效评估的基本思路信息化是一项较为复杂的系统工程。要建立一套科学规范的信息化绩效评估体系，是一个涉及范围广，技术要求高、考虑因素多的复杂系统。一套规范的信息化绩效评估体系一般需要遵循以下思路，如图2所示： 
（1）必须明确信息化绩效评估的目的； 
（2）必须根据组织业务战略对IT进行正确定位； 
（3）评估贯穿于整个生命周期，而不仅是事后评估； 
（4）根据不同的评估需求尽量选用成熟的参考框架； 
（5）要分析影响IT绩效的环境因素，充分考虑组织不同条件的差异； 
（6）选择合适的评估技术方法，并适应IT技术的要求，注重定量与定性评估的有机结合； 
（7）将评估与监管结合，注重动态监控与管理。 
资料来源：ITGov中国IT治理研究中心. itgov. org. cn
有效的信息化绩效评估体系应该能够服务于组织信息化工作，能够帮助组织对信息系统进行合理的战略定位，并在信息系统项目的立项、可行性研究、招投标、系统规划、技术选行，项目验收等阶段给出有力的决策依据，能够综合权衡财务上的实施可能性，应用方面的合理性和有效性，并能够通过持续的评估进行有效的过程控制，从而对信息化投资实施持续的过程管理和评估，保障投资的实际投放和效益反馈。总之，评估应该确保对组织在信息化方面的投资做出有益指导，使得组织能够进行持续的提高和创新，并实现长期效益。 
明确评估目标评估首先必须要有目的，但评估本身不是目的，评估的最终目标是为了决策。根据评估主体的出发点不同，对信息化进行绩效评估有如下一些基本的目的，但不是说每个评估都包含如下的所有目的： 
l IT目标出发点和组织目标相一致，使IT与组织目标与计划统一起来 
l 回答IT如何支持组织使命，如何支持组织战略、客户、内部需要 
l 在决策层通过评估改善IT绩效 
l 区别IT对当前以及对未来发展的影响 
l 保持各种IT因素之间的平衡 
l 评估所有IT功能的整体绩效，以及各部门IT投资的结果 
l 在不同决策层实施不同的绩效衡量机制 
l 检查系统的目标，功能及各项指标是否达到设计要求。 
l 检查系统的质量和使用效果，找出系统薄弱环节，提出改进意见。 
l 能够为纠正和检查组织信息化存在的问题提供预警机制。 
l 能够为组织资源规划与配置、信息服务、工作流程改进提供引导性支持。 
l 能够提供客户、利益相关者等产品、质量、成本、时间等方面的信息反馈。 
l 通过评估可以在决策者之间建立一个通用的结果导向的语言，组织可以依据评估的指标确定对IT资源进行怎样的评估。 
l 评估指标可以作为重要的IT控制目标，通过实施控制过程来达到期望的结果。通过指标可以使管理部门明确某些控制行为是如何满足信息需求以及影响IT资源的。 
l 通过控制来保证所有参与IT管理、使用、设计、开发、维护的人员能够各施其职，并提供考核的依据。以定量与定性评估相结合以前信息化评估通常以定量指标为主，而且主要采用财务指标定量分析，通常采用投资回收期、投资收益率、净现值等方法衡量信息系统应用的效果。当信息系统投资的目的是改善操作效率时，传统的评估技术还可用。因为这种投资主要用于产生有形收益，并给予直接的项目成本。这种操作层的信息系统部署传统上被用于实现效率上的收益。然而，当管理者意识到IT更广泛的战略收益，这种方法就凸现出其局限性： 
财务数据是历史性的静态数据，反映的是结果，具有静止、单一和被动反应的特点。完全采用财务指标定量评估，是一种短期业绩的计量。如果对组织信息化评估完全建立在这种定量分析的基础上，就会助长组织经营者的急功近利思想和短期投资行为。由于IT绩效的滞后性和无形性，其所带来的组织文化的改善等许多内容是很难量化的，或者量化分析也难以准确。对于考察这些行为来讲，以财务指标为主的传统定量分析方法就显得捉襟见肘。 
而如果完全采用非财务指标进行定性分析，也存在着明显的缺陷：与财务指标相比，定性指标设计时往往缺乏一个完整的理论框架。由于非财务指标涉及到各个不同部门或者环节，指标之间很难避免相互矛盾。 
综上可以看出，如果在评估时仅关注财务指标，则容易造成组织的短期行为，影响组织的长远发展；而过分关注非财务指标，则会由于难以准确描述和操作而导致组织IT行为失控。在IT环境下，将定性与定量分析有机结合是一种最优的选择。 
       以全过程为评估范围多数评估活动的驱动力都是传统的系统开发生命周期，并分为事前评估、事中评估、事后评估等几个阶段。尽管多数组织认为评估的目的是改善系统开发的过程与已开发的系统，但实际上评估的实质已经成为结束项目而不是项目改进，尤其是实施后评估。目前对项目的评估一旦在信息系统启动后就很少能够引起关注，事实上根本就没有执行持续的评估。 
对组织而言，信息系统是一项效益驱动的投资，因此，规划阶段是否适度、开发质量是否能够保证，系统建成后运行效果是否达到预期目标，这些均对业务绩效产生十分关键的影响。因此IT绩效评估应该是涵盖整个生命周期的持续性评估，而不只是判断开始如何投资或者只是实施后的评估。 
评估不是一次性快照，而是多阶段的活动，贯穿项目开发与运行的整个过程。信息系统绩效包括过程（系统的开发与实现）以及成果（有效满足预期使命目标的结果）等方面的成效，包括前期的规划与组织，建设与实施以及交付和运行等环节的实施情况，这样有助于对系统进行改善与控制，从而沿着以绩效为导向的方向前进。即就信息系统而言，绩效评估是一个分析性的过程，通过该过程评估系统如何通过交付IT服务以实现组织赋予它的使命。绩效评估只是在有规划目标和期望结果的环境中才更加重要，因此需要有明确的规划和所期望的结果来实现绩效的改善。注重动态监控与管理信息系统评估是一个复杂过程，评估的环境、内容和过程之间的交互是多方面的；此外，信息系统不确定性导致评估需要考虑环境变更时的动态性。不同学者提出采用权变模型有助于更好理解信息系统在特殊环境下的作用与影响（如，收益、成本、风险、绩效度量等）。 
传统的评估通常都是静态的。在稳定环境下，这种评估主要关注如何有效率地使用资源并达到预先设定的目标，而不是更广泛的组织变更。传统的实施后评估是一次性地考察信息系统部门交付的产品是否适合。 
然而，在实际进程中，信息系统所影响的时间框架是高度不确定的，并且延长到传统生命周期外（如，长期的基础设施的影响）。这意味着如果在操作运行期间不进行定期重新评估，可能的收益就会减少。因此，需要从中长期持续的角度将评估工作作为一个监控机制。这也意味着需要一个更适合的模型评估生命周期以便于采用收益管理方法。 
随着项目开发日益朝原型化、迭代递增交付式过程模型发展，用户所设计的评估以及管理者对风险的评估更加频繁。用户与操作管理者被包含到评估中，评估技术如何支持日常操作，所建议的信息系统在操作层面上是否有效，这样的评估活动更具有参与性并直接关注学习过程，使各阶段的每一步学习过程都被纳入到整个开发过程参考成熟的标准体系众所周知，评估需要有一套科学的指标体系和理论方法作为基础，并遵守一定的客观规律和程序。否则，评估结果很难令人信服。目前，国际上一些从事IT治理和标准研究工作的一些组织建立了一些相关标准以及最佳实践，这些通常是在实践基础上总结出来的框架体系，用其作为参考性评估体系使得评估更有依据，有助于增强可信性。 
由于关注焦点各不相同，这些可用于信息化评估的参考体系的侧重点各有不同，分别应用于控制、审计、战略实施、质量认证等不同领域，如表1所示。 
表1 可用于信息化评估的体系及其侧重点 
评估框架
侧重点
Benchmark
主要通过与最佳实践或者标准进行目标检查
ISO9000
主要用于认证和审计
EVA
主要用于理解和实现利益相关者的价值
CSF
主要用于将战略目标分解成为IT职能
COBIT
主要用于过程和目标的设定和控制
ITIL
主要用于管理和获取目标
CMM
主要用于事实与成熟度检查
6 Sigma
主要用于质量控制
ABC
主要用于降低管理成本
IT BSC
主要用于战略的财务和非财务平衡
KPI
主要用于绩效指标的量化管理

资料来源：ITGov中国IT治理研究中心.  itgov. org.  cn
在选择和运用参考体系框架时，需要认识到下列两点： 
（1）信息化评估的参考体系关注的焦点，在评估的具体运用时通常各有侧重。在选择框架时，需要根据组织的目标进行设定，综合权衡各个评估框架的优势和劣势，然后将不同框架的目标进行整合来实现组织的需要。 
（2）框架并不能代表评估，它只是参考性的指南，通常知时告诉你最好应该从哪些方面进行评估，而没有告诉你如何去评估，因此，还需要根据具体情况设定评估体系。分析评估环境因素信息系统评估过程与内容相互交织，并与引入新系统后而导致的组织变化环境密切相关，评估环境与组织所处的多级系统与结构密切相关。影响信息化绩效评估的因素有很多，包括： 
l 组织环境等是否支持信息化绩效管理 
l 信息化应用对于组织的重要性 
l 信息技术在组织中应用的广泛程度 
l 信息化活动的分散与集中性 
l 资源（技能、工具）的支持程度 
l 组织高层领导是否参与使用信息化绩效的有关信息 
l 组织的健康性 
l KPI指标中是否涵盖IT绩效 
以上因素直接或间接影响信息化绩效评估的复杂程度，绩效评估的实施效果，以及绩效评估的范围和力度。要进行科学规范的信息系统评估，不得不考察这些因素对信息化的影响，从而得出全面正确的结论。研究影响信息化评估的环境因素，可以实现以下目标： 
（1）了解评估主体、评估准则、评估方式、时间框架以及所用的技术与工具等，了解评估的利益相关者的主观影响等，这些因素对评估的效果产生影响。 
（2）针对影响因素，可以尽量改善评估的环境，创建和谐的信息系统运行环境，从而达到改善信息系统绩效的目的。 
（3）对不同组织的信息系统进行评估比较时，需要考虑到各自环境因素的影响度，这样有利于分析结果的真实性。