DreamBlooms/HansPub-15000-to-45000 huggingface dataset:
system: [SYSTEM]

user: 2. 相关理论 2.1. 相关定义 定义1. 属性：实体是根据其特征来描述的，称为属性 [ 13 ]。这些属性的值提供有关特定实体的信息。重要属性是指将一个实体与另一个实体区分开来的属性。ER中的匹配规则对这些属性起作用。 定义2. 比较器：一种用于确定两个属性值之间相似度的算法。比较器也称为相似性函数 [ 14 ]。 定义3. 项：由比较器，一个属性的两个值以及一个显式或隐式阈值组成的逻辑命题。如果比较器确定的两个值之间的相似度上升到阈值设置的水平，则该项为真。 定义4. 规则：规则是由单个项或由两个或多个项 [ 15 ] 的逻辑结合(与运算)形成的逻辑命题。 定义5. 规则集：规则集是由单个规则或两个或多个规则的逻辑与(或运算)形成的逻辑命题。 在ER系统中，两个记录是否链接是由两个记录中的属性值分别使规则集命题为真还是假来确定的。根据上面的定义，这意味着两条记录中的属性值必须在规则集的至少一条规则中使所有项为真。不链接的两个记录则不满足任何规则。 2.2. 匹配规则 R [ A 1 ， A 2 ， ⋯ ， A n ] 和 S [ A ′ 1 ， A ′ 2 ， ⋯ ， A ′ n ] 是带有n个对应属性 A i 和 A ′ i ( i ∈ ( 1 ， n ) ) 的两个关系。假设两个关系之间的属性已经对齐并作为输入提供。设r，s为R，S中的记录，并且 r [ A i ] ， s [ A ′ i ] 为记录r，s中属性 A i ， A ′ i 的值。相似度函数 f ( r [ A i ] ， s [ A ′ i ] ) 计算阈值[0，1]的相似度值，例如编辑距离和Jaccard相似度。得分越高，说明 r [ A i ] ， s [ A ′ i ] 的相似度越高。但在现实的数据集中，每个记录都包含很多的属性，每个属性需要的相似度函数和阈值都不同。 定义6. 属性匹配规则属性匹配规则是一个三元组 ≈ ( i ， f ， θ ) 带值表示布尔函数 f ( r [ A i ] ， s [ A ′ i ] ) ≥ θ ，其中 i ∈ [ 1 ， n ] 是一个索引，f是相似度函数， θ ∈ [ 0 ， 1 ] 是一个阈值。属性匹配规则 ≈ ( i ， f ， θ ) 估计为ture，意味着对于特定的相似度函数和阈值， r [ A i ] ， s [ A ′ i ] 匹配。 本文用 r [ A i ] ≈ ( f ， θ ) s [ A ′ i ] 代表相似度f和阈值 θ 的属性匹配规则。在后文中将其简写为 r [ A i ] ≈ s [ A ′ i ] 。 定义7. 记录匹配规则。记录匹配规则是对不同属性的一组属性匹配规则的结合。简单来说，如果集合中所有属性匹配规则的值都为真，这两条记录r和s匹配。 定义8. 析取匹配规则。析取匹配规则是对一组记录匹配规则的析取。如果记录r和s被至少一个该规则的记录匹配规则匹配，则该规则将匹配它们。 定义9. 布尔公式匹配规则。布尔公式匹配规则是将属性规则作为其变量和连接项的任意布尔公式。
system: [SYSTEM]

user: 5. 实验 5.1. 实验方法 为了验证本文提出的Rule Evolution的有效性，本文与可解释的实体解析和不可解释的实体解析进行比较。具体的对比方法如表3所示。 我们将Rule Evolution与决策树，SVM进行了比较。所有ML方法都将ER转换为二进制分类问题。尽管SVM的输出缺乏逻辑可解释性，但是决策树可以解释为具有多个DNF子句的布尔公式，这些子句遍历路径导致正分类。 本文与基于规则的学习方法进行了比较。选择基于启发式的方法SIFI来与Rule Evolution对比，该方法根据专家提供的DNF语法搜索最佳相似性函数和阈值以进行属性比较。相比之下，Rule Evolution会自动发现BMR，而无需任何专家提供的规则结构。 Table 3 Comparison algorithm tabl 算法种类 具体对比算法 可解释的实体解析 SIFI (基于规则的算法) 低深度的决策树 不可解释的实体解析 SVM 高深度的决策树 表3. 对比算法表 5.2. 实验设计 本文在Python 3中实现了作为与Sketch合成工具(用Java和C++编写)交互的RuleSynth脚本。并在Python中实现了SVM。其他两种基准方法，即SIFI和决策树，分别来自 [ 12 ] 和 [ 19 ] 的作者。SIFI是用C++实现的。 对于决策树，我们分别显示深度3，4和10 (Weka中的默认配置)的结果。对于SVM，本文将两个内核的结果分开。对于SVM，我们使用平衡的类权重作为省力的配置，以优化F度量。我们还使用专家提供的默认配置和语法运行SIFI。 本文提出的Rule Evolution，为了实验做了如下的设计： 1) 设置语法深度N a 为4； 2) CEGIS迭代的最大界限为K CEGIS = 800，并且每次CEGIS迭代的超时时间为15分钟，以使其直到找到无法合成有效规则的示例集或超时并选择直到那时为止的最佳规则； 3) 属性匹配规则的数量N a ：对于RuleSynth，我们设置N a 为8，和基于规则的数量一致。 5.3. 实验结果 本文对所使用的每个数据集进行了5倍交叉验证，将数据随机分为5个相等的分数(倍数)，并进行了5个实验。在每个实验中，20%是测试集，而其余的80%为训练集。我们将测试集所有获得的平均F度量作为评估指标。对于我们比较的每种技术，我们都使用相同的数据集，对于每个实验，本文可能会为ML技术的参数找到不同的最佳值。实验结果如图1实验结果所示。 与可解释的决策树进行比较。本文将提出的算法Rule Evolution与可解释的决策树(深度为3/4的)进行有效性评估(5倍平均F度量)。图显示了不同可解释技术的平均F量度。我们观察到，对于所有数据集而言，Rule Evolution的F-measures要比深度为3的决策树更高，与深度为4的决策树相比，在盘和栋的数据集上，Rule Evolution的F-measures更高，在户的数据集上，深度为4的决策树的F-measures更高。 有效性与不可解释的方法。本文将Rule Evolution与两种不可解释的ML算法进行比较：1) 深度为10的决策树，2) SVM，图给出了不可解释方法的评估分数，可以看到Rule Evolution在不同的数据集上与不可解释的ML算法的平均F-measure值互有高低。但是，这些ML算法的有效性代价明显高于。且这些算法不可解释。 图1. 实验结果 与基于规则的算法比较。最后将Rule Evolution与SIFI进行了比较。SIFI要求专家提供的DNF模板作为输入，并完成该模板以生成规则。相反，Rule Evolution自动发现规则，从而减少了专家的工作量。图1显示，对于所有数据集，Rule Evolution性能均优于SIFI。
system: [SYSTEM]

user: 6. 结论 本文提出了一种基于布尔匹配规则的实体解析方法。本文给定高级规则规范作为语法和正反示例作为约束，为了在合成器上自动合成规则，本文提出了规则合成算法(Rule Evolution)来自动生成最优BMR规则。最后在真实数据集上进行了实验，实验结果验证了算法的有效性。实验结果表明其F-measures可以与传统方法和现在主流的方法相媲美，甚至更高。
system: [SYSTEM]

user: 摘要 随着国家对国际化教育的日益重视，高校逐步增加双语教学的开展。相比普通课程，双语课程尤其是数理类双语课程的教学难度更大，教学效果的把控更难掌握，学生的积极性更难调动，因此对教学过程的质量监控尤为重要。如果双语课程仍采用传统的“一考定终身”的形式，学生的能力培养和课程掌握会较为薄弱，因此需要寻找一种合适的过程化考核、设计与实施考核的形式，培养全方面多发展的学生，与国外教学方式相接轨。
system: [SYSTEM]

user: 1. 引言 大学阶段的学习特点不同于初、高中，大学生的时间较为自由，课程内容更加广泛和松散性更大，且课程的实际考核难度实则低于中学课程。因此，对于自律性仍不够高的大学生来说，如果继续采用初高中“一考定成绩”的考核模式，往往会助长学生临时抱佛脚的恶习。对于普通课程来说，传统考核模式的弊端还未明显显现，但对于中外合作办学专业课程来说，这种方式着实存在很大弊端。一方面，中外合作办学课程往往是双语授课或全英语授课，这对于英语基础本就不好的学生来说，外语学习的语言媒介是一种压力，语言压力加上专业课程的压力，使得学生并不能全面及时消化知识，而在传统的考核形势下，学生通常会采用期末突击，这种形式的应考非常不利于学生真正掌握知识，也非常不利于老师实时监控教学情况及调整教学策略 [ 1 ]。另一方面，统计类课程本就较为枯燥，且知识晦涩难懂，存在内容多、理论性强、概念抽象等现状 [ 2 ]，要提高学生对该类型课程的学习积极性有一定难度。因此，研究一种学生学习能力提升、知识掌握和外语能力提高的教学方法对统计类双语课程至关重要。 作为一种较新的教学方法，过程化考核指的是在对学生课程掌握情况的评定过程中，对学生的综合表现，如该学生的行为、习惯、态度、表现及积极性等方面多层次而全方面地进行考评 [ 3 ]。因此过程化考核往往是长线的考核方式，从每一节课、每一次作业中考核学生对该门课程的掌握情况，从而减弱了期末考试的应试占比，制定了新的成绩评定方法 [ 4 ]。作为一种正蓬勃发展的考核方式，过程化考核能积极改变目前大学应试教育的现状，提升学生对于专业课程学习的积极性和主动性，提高学习效率，取得事半功倍的效果，使得学生对知识的思考更透彻、更完善、更丰富，对内容的掌握更详细、更全面、更深入。 目前，关于高校过程化考核的实践和研究已经有一系列成果，但对理工类双语课程的过程化建设仍存在很大提升空间。如景冰在过程化学习教学方法研究中提出可以在学期初给学生布置任务书，要求学生从学习目标、方法、内容、过程及效果五个方面来体现学习思想 [ 5 ]；张宏涛和曹仰杰在过程化考核模式的探索与实践中提出过程合理划分和过程淘汰机制，实时激励学生注重平时的学习 [ 6 ]。目前的现状是，推行过程化考核的高校不在少数，但而其效果不尽人意，尤其是理论性较强的数理类课程，其考核方式通常更为单一 [ 1 ]。许多教师为了完成过程化考核的要求，仅仅在原有的应试考核方式上增加了平时成绩，比如期末的应试考试占总评成绩的70%，平时成绩包含作业情况和出勤情况占总评成绩的30%。从根本上来说，这种考核方式虽然结合了平时的表现，但仍以应试的成绩为主，且几次作业表现也通常是应试做题的另一种形式，没有很大程度上调动学生学习的主动性和积极性，也几乎没有给学生任何开放性表达的机会，还是教师在讲台上授课、学生期末应试突击为主。这种传统的过程化考试往往忽略了过程化考核的核心 [ 1 ]，不仅在于加强学生对平时学习的重视，而更在于调动学生学习积极性，积极引领学生成为爱思考、会表达、擅合作的全面发展人才，因此设计一种符合理工科现实学习情况的考核方式至关重要。本文旨在结合实际教学的情况，探索如何通过多层次多元化地进行过程化考核，讲述分布考核目标及教学质量监控的实现，并以高校双语课程《基础统计学》为例，为其他中外合作办学的专业课程或其他院校开设的双语课程的过程化考核提供参照。
system: [SYSTEM]

user: 2. 过程化考核实践方案 2.1. 教学实践班背景及现状 本次过程化考核的实践班为中美合作办学信息与计算科学专业学生，其特色在于中外教师共同培养人才，即学生大一课程由中方老师教授，而大二大三等高年级课程由美国大学指派教师授课。因此，中方教师的职责不仅在于传授学生专业知识，更在于为其打好学术英语基础能力，以便其适应外教的全英文课程。其中，《基础统计学》这门课程设置在大一下学期，其课程大纲及内容均引进自美方西弗吉尼亚大学，该课程目标以理论为主结合部分实践应用课程以双语的形式授课，旨在帮助中美信科专业学生在学好数理基础的同时，打好用英语学习数理课程的基础和习惯。本次过程化考核的实践班级人数为50人，根据以往与该班学生的接触交流及其他教师反馈，该班学生的数理和英语能力层次不齐，部分学生学习基础好且学习认真，但表现欲望较弱；也有部分同学虽然学习基础一般但思维活跃且善于表达。以往的基础统计学类课程通常采用的课程考核方式虽也有过程记录，但过程的记录仅限于一次期中考试及学生出勤的记录，且期末考试和期中考试仍然占了非常大的比重，而这种的成绩评定方式本质还是一考定终身，而且往往对于一部分擅长考前突击和应试的学生来说更为有优势。这种考试模式并没有从真正意义上激发学生的学习热情和动力。由于知识点没有真正理解和巩固，学生只是一味应付考试，以至于在学习高年级统计课的时候倍感痛苦。 鉴于中外合作办学课程的特殊性和大部分中国学生的特点，本研究定制了争对《基础统计学》该门课程的过程化考核。此次考核方式的更新旨在鼓励学生提升学习的热情和能动性，推动学生对专业知识的掌握，提升学生的自学能力，其本质在于尝试突破双语课程学习瓶颈，打破固有学习方法，从而推进素质教育 [ 2 ]。 2.2. 考核方式 课程的考核将结合学生期中测试、期末考试的表现，也会结合学生每一堂课、每一次作业的表现情况，作为学生的平时分。以本次研究探索尝试的双语课程《基础统计学》为例，课程的考核方案按以下三个板块实施开展： 1) 学生的平时成绩，一般占总成绩的40%，其衡量标准是学生的课堂参与度及表现，包含学生出勤情况、学习参与度、学习效果等。第一，学生的出勤情况可以通过签到量化，若多次迟到、旷课，就将影响该门课程的平时成绩，通过这样的方式，变相提醒学生按时上课，做到不迟到、不早退、不旷课，保证课堂的顺利进行；第二，对于学习参与度的评定，可以根据不同的课程性质进行调整，也可以从多个方面进行评定，例如该门课程会通过学生课前文献阅读和反思情况、课内讨论情况、小组课内及课下项目完成情况等多项任务评定。此时的每一项任务通常是较为开放性及具思考性的讨论或应用实践项目，从而从多个方面衡量学生的学习能力，学生不仅是在试卷上写出答案，而是他们需要探讨和阐述自己的观点、需要合作和解决实际问题；第三，学习效果的评定将从学生每一次课程的作业情况或是随堂练习的成绩等反映，通常是每次练习都占一定的分比，从而使得学生认真对待每个知识点、每次作业、每次小测试，也避免了“一次考砸”就影响全局的局面。平时成绩的设置，不仅在于追踪学生对每堂课重难点知识的理解、对于该块内容的学习态度及掌握程度，也在考核学生的小组团队合作能力、表达能力、研究能力等等。为了调动学生学习热情，更好地参与每一次平时活动，本实践不仅对平时成绩更为细节化全方面地赋分，更是结合了多种趣味教学的方式，如线上抢答、摇一摇选人、发起投票问卷、开放性问题词云等多种形式。 2) 期中测试，占总成绩的30%，将分阶段分层次对学术学习的掌握情况进行考核。以《基础统计学》为例，该课程共有十个单元的学习内容，其中八个章节为理论课程，两个章节为应用课程。在本实践中，该课程将在第四单元、第八单元结束后分别安排一次期中测试，第一次期中测试的安排，不仅是帮助大一学生了解自己对这门课程的入门情况，也是老师了解学生对知识的掌握程度的好时机，部分同学会觉得付出有所回报而充满信心继续努力，也有部分同学因为表现不好会受到警示从而打起精神努力学习；第二次期中测试是学生第二阶段学习情况的总结和反馈，提醒学生本阶段有哪些不足或成果。 3) 期末考试，占总成绩的30%，即课终安排一次整合性的期末考试，此次考试会涵盖这门课程所有相关知识点，是对学生对这门课程的综合掌握情况做的一个评价。有了之前的累积之后，学生对这门课程的总体理解和掌握情况将在最后一次测试进行展现。研究指出，应试考试仍需作为过程化考核中重要的一个组成部分，这种形式也是测试学生掌握情况及督促学生学习的一种方式方法，特别是数理类的专业课程，必须结合传统的笔试和平时学习情况，才能最为全面地反映学生对这门课程的掌握程度 [ 7 ]。 学生的每一次课堂表现都会有记录，并最后汇总计算该学生的总评成绩，如表1所示。 Table 1 Summary of student process assessment assembly record 学生姓名 期中测试一(15%) 期中测试二(15%) 平时成绩(40%) 期末测试(30%) 总评分 100% 出勤(5%) 课堂表现(20%) 课后作业(10%) 王xx 张xx 表1. 学生过程化考核总成记录汇总表 相比传统的数理类课程和传统的过程化考核课程，本实践加大了平时成绩的比重，设置了总成绩近半为平时表现成绩，旨在积极贴近过程化考核核心，将过程化真正落到实处。而大比重的平时成绩一方面是贴合本专业中外合作办学的人才培养方案，即培养能够熟练运用中英双语，具有较高基础理论和技能、一定应用研究能力和应用实践能力的专门人才；另一方面也是为了让学生意识到平时持续学习和全方面学习能力提高的重要性，让其尽早适应全英语、重视表达、重视思考、重视合作、重视过程的国外的教学方式，从而真正意义上培养高素质、全方面发展的人才。
system: [SYSTEM]

user: 3. 效果及思考 随着素质教育的进一步推广，评价学生的学习情况将更加侧重学生的学习过程和学习能力 [ 8 ]。而与传统的考试模式相比，过程化考核更加注重结果取向评价、过程取向评价和表现取向评价，而评价形式更加注过程和总结，更加全面综合地关注和考虑学生在学习过程中的累积和提升 [ 9 ]。在本次双语课程的过程化考核实践中取得了以下成效： 1) 更加注重平时，激发了学生持续学习态度及学习认真程度。在采取了过程化考核之后，学生的平时表现有了较大的提升。比如，通过过程化考核的出勤计分，学生的出勤状况得到大幅提升，迟到、早退现象也大幅减少。 2) 更加加强课堂讨论，教师积极引导，更能发挥学生学习的能动性及积极性。一方面，学生在课堂上玩手机的情况大幅减少，在课上课下提问交流的学生数有明显增加，学生听课状态的提升也更给了老师更加用心教学的积极性，从而实现教学的良性循环。另一方面这些课堂活动数据也都被记录下来，为下一步的教学研究积累了素材，使得老师能更好地掌握学生学习进展，实时进行教学策略的更新与调整 [ 3 ]。 3) 总评分数一定程度上更加客观直观地评价学生学习该门课程的总体表现。如果仅仅通过一次考试来判断学生对这门课程的掌握程度，往往存在偶然性 [ 2 ]。过程化考核通过结合多项考核标准，更加直观、公平公正地衡量反应一个人的学习能力、学习态度、学习表现。更为综合、全面地考察学生对理论知识的掌握情况及学生的实践、创新能力，而在实施了过程化考核之后，该门课程的通过率和优秀率也有明显提升。 对于大部分学生来说，课程的过程化考核，虽然一定程度上加大了他们的学习压力，但同时激发了他们对课程的学习兴趣、牢固了他们对课程知识的掌握。虽然说这种新型的考核模式有很多值得借鉴和仿效的地方，但其具体实施仍然存在一定问题。一是其对教师的水平及能力提出了更高的要求，如何利用好丰富的考核模式使过程化考核真正达到其实施的效果将是下一个需要解决的问题；二是中国学生对过于开放的教学方法还未适应，部分考核内容尤其是课堂内的全英文讨论任务，即使被赋予了平时分，学生的参与度仍然较低，需要教师积极鼓励。相信近些年国家对于素质教育的重视，未来的学生将会更好地适应课堂讨论这样的开放性学习任务。
system: [SYSTEM]

user: 4. 总结 本研究从提高学生学习能动性、实现素质教育的目的出发，以中外合作办学背景下的统计学课程为例，围绕过程化考核的核心，制定了学生为主、教师为辅、平时为主、期末为辅的考核方案，对学生平时的每一次出勤、学习态度、课内表现、课后作业都进行了系统化的考核总结，向学生强调了平时学习、学习主动性、学术表达能力、团队合作能力的重要性。 该研究分析了过程化考核对双语类课程的优势，制定了更加适应中国理工科类学生双语课程的过程化考核方式，反思了过程化考核存在的问题，旨在为双语教学教师和学习者提供更好的教学方法，从而提高学生对于晦涩难懂的课程的学习，达到事半功倍、融会贯通的效果。而本实践的执行也收获了较为积极的反馈，如学生的学习态度、学习热情、学习参与度都有了大幅提升，且学术的总评成绩相较往年也有提升。总的来说，过程化考核对于理工科类双语课程来说，不失为一种有效且高效的考核方式。而过程化考核的实施，对教师和学生都提出了更高的要求，老师需要花费更多的精力去准备各种学习材料、去引导学生思考，而学生需要花更多时间在平时学习中，其真正的实施及应用仍然较少，相关可借鉴经验不足，因此具体的课程仍然存在一定问题，有待进一步解决。
system: [SYSTEM]

user: 摘要 全基因组关联分析(GWAS)是研究复杂疾病相关位点的有效方法.在基因不确定情形下，传统方法利用基因填补方式估计基因概率，继而展开后续基因关联分析。我们对大样本基因考虑一个非参数可加模型对可加分量维数大而非零加性分量数目小的基因数据进行建模，其中加性分量利用B样条基函数的线性组合工具来近似拟合基因概率对性状表征的效应关系；选择非零分量是利用组Lasso惩罚来获得初始估计量。最后我们利用蒙特卡洛模拟证明，可加模型的组lasso方法在基因表达样本中的效果良好。
system: [SYSTEM]

user: 1. 引言 近年来，全基因组关联研究(GWAS) [ 1 ] 被广泛关注，成功地应用于识别与复杂疾病相关的位点及农业畜牧业等重要经济性状相关的遗传变异基因。复杂疾病是环境和遗传变异因子的共同结果，一般涉及多个基因，而大部分疾病的相关基因位点未知，这就要求科学家开发合理的方法识别相关位点。GWAS就是寻找致病基因的方法之一，主要用于数量性状的分析，应用基因组中数以百万计的单核苷酸多态(SNP)，在全基因组水平上进行大样本分析找出影响复杂性状的基因变异位点。也就是说GWAS的主要目标是筛选出与特定疾病相关的基因、确定SNP与疾病表型的关联 [ 2 ]。Klein et al. (2005)最初利用该方法找出老年黄斑变性的相关致病基因 [ 3 ]，Sladek et al. (2007)确定4个与2型糖尿病有关的致病基因 [ 4 ]。相关实例应用陆续开发，在风湿性关节炎 [ 5 ]、食管癌 [ 6 ]、心血管疾病 [ 7 ] 和前列腺癌 [ 8 ] 等疾病以及农业(芝麻等)畜牧业等重要经济作物中有了相应研究成果，GWAS快速发展。 随着测序数据的发展，多国协作的HapMap计划的完成，海量的基因型数据被用于GWAS [ 9 ]，适用于大数据关联分析的算法也在不断更新。在大型样本的基因测序研究中，有时出现基因型不确定的情况 [ 10 ]，在这种情况下，利用“填补基因型方法”确定每个样本对应的基因型 [ 11 ] [ 12 ] [ 13 ]，继而展开后续的基因关联分析 [ 14 ] [ 15 ] [ 16 ] [ 17 ]。对于特定的SNP基因分型，通常采用的“最大概率法”和“剂量法”。前者指定概率最大的基因型作为样本基因进行分析估计，后者是用线性组合的方式计算基因型概率，计算方法分别为： X ˜ i j = { g : p i j g = max { p i j 0 ， p i j 1 ， p i j 2 } } ； X ¯ i j = p i j 1 + 2 p i j 2 。 传统的关联分析主要考虑单个基因型对疾病表征关系的关联分析 [ 18 ]，但多个基因位点的基因型与特定疾病的关联分析及变量选择就很少 [ 19 ]。Li Q. [ 20 ]、Loley [ 21 ] 分别对多个基因位点对性状表征的传统线性回归模型、广义线性模型。在高维基因数据方面，成青 [ 22 ] 和刘璐 [ 19 ] 考虑高维数据中n个样本的p个基因位点的基因数据建立线性回归模型并结合Lasso罚函数进行变量选择。而这些方法没有考虑基因型的不确定，且认为基因对疾病表征关系是线性的。在遗传基因表达中，基因位点对疾病的效应关系可以是非线性的。对高维数据处理，一般传统的高维数据模型加罚函数可以初步对变量降维，在这方面已有大量的研究工作 [ 23 ] [ 24 ] [ 25 ] [ 26 ]。这里我们将在考虑高维基因数据下，部分基因位点不确定，探索一种利用B样条拟合基因位点对基本性状响应的光滑效应关系，进而建立可加模型 [ 27 ]，结合grouplasso罚函数对高维变量降维及非参估计以确定基因型与性状表征的关系。 本文的其余部分安排如下：在第2节中，我们介绍在基因不确定情形下的加性模型，我们将在第3节中详细介绍选择一致性证明结果；在第4节将我们的方法应用于模拟GWAS数据的分析。最后，我们作一些结束语。
system: [SYSTEM]

user: 2. 符号与模型 2.1. B样条曲线 在介绍我们的模型前，首先回顾B样条曲线概念。1972年Riesenfeld等人 [ 28 ] 提出B样条曲线，它可以通过一组标准B样条基函数的线性组合来有效逼近上述非线性函数。假定 a = η 0 < η 1 < ⋯ < η K − 1 < η K = b 将区间 [ a ， b ] 分割为K个子区间，记 I K t = [ η t ， η t + 1 ) ， t = 0 ， ⋯ ， K − 2 为前K − 1个子区间，对于第k个子区间，其p次样条基函数 ϕ k ， p 定义如下 ϕ k ， 0 = { 1 ， x ∈ [ η k ， η k + 1 ] 0 ， x ∉ [ η k ， η k + 1 ] 其递归公式为 ϕ k ， p ( x ) = x − η k η k + p − η k ϕ k ， p − 1 ( x ) + η k + p + 1 − x η k + p + 1 − η k + p ϕ k + 1 ， p − 1 ( x ) ， k > 0 假设 S n 为 p ≥ 1 次多项式样条空间， { ϕ k ， k ≤ d n } 是定义在 S n 上的一组标准基向量，则有 f n j ( x ) = ∑ k = 1 d n ϕ k ( x ) β j k ， 1 ≤ j ≤ p 其中 d n = K + p ，在适当的条件下， f n j ( x ) 可以和好的逼近 f j ( x ) [ 29 ]。记 β = ( β 1 T ， ⋯ ， β p T ) T ， β j = ( β j 1 ， ⋯ ， β j d n ) T 。 2.2. 基于基因不确定的可加模型 考虑等位基因为a和A的单核苷酸多态性。假设A是导致疾病的高风险等位基因。三种基因型分别表示为aa、Aa、AA，对应编码为0、1、2。定义 X i j 为第i个个体第j个点位的基因型，则对应的基因型概率定义为 p i j = P ( X i j = g ) ， g = 0 ， 1 ， 2 ， Y i 为第i个个体的性状观测值。这里基因不确定数据，我们的 X i j 可采取传统填补基因型方法： X ˜ i j = { g : p i j g = max { p i j 0 ， p i j 1 ， p i j 2 } } ； X ¯ i j = p i j 1 + 2 p i j 2 。 假设我们的数据向量 ( X i ， Y i ) 独立同分布服从 ( X ， Y ) ，Y是响应变量， X = ( X 1 ， ⋯ ， X p ) T 是p维基因数据，考虑如下非线性可加模型： Y i = μ + ∑ j = 1 p f j ( X i j ) + ε i ，   i = 1 ， ⋯ ， n ; j = 1 ， ⋯ ， p 其中 μ 为截距项， f j ( ∗ ) 为未知光滑函数， ε i 为服从均值为0方差为 σ 2 的随机误差。在高维稀疏性的假定下，这里的大部分 f j ( ∗ ) ≡ 0 ， j = 1 ， ⋯ ， p ，我们的目的是找出不恒等于0的部分。结合B样条拟合光滑函数的工具，表达式等价于： Y i ≜ μ + ∑ j = 1 p ∑ k = 1 d n ϕ k ( X i j ) β j k + ε i ，   i = 1 ， ⋯ ， n ; j = 1 ， ⋯ ， p ; k = 1 ， ⋯ ， d n 这里的待估参数 β = ( μ ， β 11 ， ⋯ ， β 1 d n ， ⋯ ， β p 1 ， ⋯ ， β p d n ) 。这里利用Bspline基函数线性组合工具，可视为其将非线性模型转化线性关系模型。 由于参数 β 的维数是 p d n + 1 ，利用Bspline线性组合近似非线性函数 f j ( ∗ ) 时， d n 很大则系数的稀疏性是我们考虑的范围，因而这里用稀疏组lasso选择重要分量和非零系数，这一部分内容我们在下一小节详细介绍。 2.3. grouplasso变量选择及参数估计 特定疾病对应与之相关的基因位点往往只有少部分，假定真实模型是稀疏的，也就是重要的协变量就是少数，只有小部分加性分量 f j 是非零的，记真实的非零分量指标集为 M ∗ = { j : f j ≠ 0 } ，这里指标集中的数目大小为 s = ‖ M ∗ ‖ 。我们的目标是利用罚函数对高维基因数据降维，选择分量 M ^ = { j : β ^ ≠ 0 } ，这里 s ^ = ‖ M ∗ ‖ ，且 s ^ ≥ s 。即当样本量增大时，重要变量选入模型的概率趋于1，我们的模型具有选择一致性。 在高维基因数据的情况下，在模型上加groupLasso惩罚项有选择一致的特性，这里我们考虑惩罚最小二乘法： S n ( μ ， β n ) = ∑ i = 1 n [ y i − μ − ∑ j = 1 p ∑ k = 1 d n ϕ k ( x i j ) β j k ] 2 + λ n ∑ j = 1 p ‖ β n j ‖ 2 记 β n = ( β n 1 T ， ⋯ ， β n p T ) T = ( β 11 ， ⋯ ， β 1 d n ， ⋯ ， β p 1 ， ⋯ ， β p d n ) T 、 1 ≤ j ≤ p ， λ n 是惩罚参数。 为了模型的可识别性，加入约束条件 ∑ i = 1 n ∑ k = 1 d n ϕ k ( x i j ) β j k = 0 ， j = 1 ， ⋯ ， p 。对 S n ( μ ， β n ) 极小化求参数： β ^ = arg min { ∑ i = 1 n ( y i − μ − ∑ j = 1 p ∑ k = 1 d n ϕ k ( x i j ) β j k ) 2 + λ n ∑ j = 1 p ‖ β n j ‖ 2 } 通过GroupLasso估计出每组参数的估计，根据稀疏性假定，其中只有少部分 ‖ β ^ n j ‖ 2 ≠ 0 ， j = 1 ， ⋯ ， p ， 等价于 f j ( ∗ ) 不恒等于，也就是说对应的第j个基因位点是与疾病存在显著关系的。
system: [SYSTEM]

user: 3. 模拟结果 利用蒙特卡罗模拟数值，比较基因型数据 X i 采用剂量法与最大可能概率法在线性模型与非线性可加模型的表现。这里 X i j 中的三个概率( p i j 0 ， p i j 1 ， p i j 2 )通过将基因不确定率的情况考虑在内的三项分布生成。这里的是三项分布可以通过三种频率对模拟生成特定频率生成，在模拟设定基因确定率和不确定基因频率则为r和1 − r。有不确定率的存在，一个基因位点会有三个基因型(aa、Aa、AA)的概率。基因型的检测频率，如表1所示。 Table 1 Frequency of genotype detectio 基因位点 基因型 最大概率法 剂量法 0 1 2 SNP 1 0.853 0.127 0.020 0 0.167 SNP 2 0.156 0.102 0.742 2 1.586 ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ SNP p 0.314 0.421 0.265 1 0.951 表1. 基因型的检测频率 下面我们通过两个例子比较说明可加模型的groupLasso罚函数的变量选择的优良性。 例1：从下面的模型中产生数据： Y i = μ + ∑ j = 1 p f j ( X i j ) + ε i ，   i = 1 ， ⋯ ， n 这里取 μ = 2 ， f 1 ( x ) = − x ； f 2 ( x ) = 2 x 2 ； f 3 ( x ) = − 3 log ( x ) ； f j ( x ) ≡ 0 ， 4 ≤ j ≤ 100 = p ；这里非零分量个数 s = 3 ， p = 100 ，样本量 n = 1000 ，随机误差服从标准正态分布。模型超参数 λ 的选取采用十折交叉验证进行筛选，数据按照7:3比例随机分为训练集与测试集。统计变量正确选择平均个数(TM)，错误选择平均个数(FM)以及测试集均方误差(TMSE)如表2。 Table 2 Results of variable selectio d n TM FM TMSE 最大值法 可加模型 4 2.31 (0.51) 1.24 (1.98) 1.68 (0.13) 6 2.43 (0.52) 1.58 (2.37) 1.56 (0.12) 8 2.45 (0.52) 1.45 (2.33) 1.54 (0.12) 10 2.41 (0.53) 1.67 (2.63) 1.57 (0.13) 线性模型 - 1.38 (0.60) 0.70 (1.03) 1.74 (0.14) 剂量法 可加模型 4 2.91 (0.29) 5.17 (5.16) 1.42 (0.12) 6 2.95 (0.22) 5.22 (5.45) 1.31 (0.10) 8 2.96 (0.20) 5.38 (5.73) 1.32 (0.11) 10 2.87 (0.34) 5.43 (5.42) 1.32 (0.11) 线性模型 - 1.92 (0.42) 0.73 (1.24) 1.58 (0.12) 表2. 变量选择结果 根据表1结果可以知道，在模型一样的情况下，剂量法相较于最大概率法能更多的识别出重要变量以及拥有更小的均方误差，与此同时识别变量错误的情况也偏多；当然线性模型应用范围比较局限，在存在非线性部分时，其变现结果很差。 例2：从下面的模型中产生数据： Y i = μ + ∑ j = 1 p f j ( X i j ) + ε i ，   i = 1 ， ⋯ ， n 这里取 f 1 ( x ) = 5 x ， f 2 ( x ) = 3 ( 2 x − 1 ) 2 ； f 3 ( x ) = 4 sin ( 2 π x ) / ( 2 − sin ( 2 π x ) ) ； f 4 ( x ) = 6 ( 0.1 sin ( 2 π x ) + 0.2 cos ( 2 π x ) + 0.3 sin ( 2 π x ) 2 + 0.4 cos ( 2 π x ) 3 + 0.5 sin ( 2 π x ) 3 ) ； f 5 = ⋯ = f p = 0 。这里 非零分量个数 s = 4 ， p = 100 0 和三种不同的样本容量：n=100，200和1000，随机误差服从标准正态分布。这里的数据生成模型和Huang的一样，但是我们这里基于基因不确定情形。针对这个模型比较GroupLasso和GroupSCAD惩罚的优越性，得到下面表3。 Table 3 Results of variable selectio d n TM FM TMSE 最大值法 Group Lasso 4 3.13 (0.89) 1.71 (2.03) 2.03 (0.22) 6 3.04 (0.82) 1.67 (2.41) 2.01 (0.21) 8 3.14 (0.82) 1.62 (2.53) 1.97 (0.21) 10 3.34 (0.80) 1.81 (2.43) 2.10 (0.25) Group SCAD 4 3.21 (0.82) 3.53 (3.97) 1.99 (0.22) 6 3.23 (0.82) 3.63 (4.11) 1.97 (0.22) 8 3.41 (0.71) 3.71 (4.14) 1.95 (0.20) 10 3.40 (0.75) 3.59 (4.13) 2.03 (0.21) 剂量法 Group Lasso 4 3.68 (0.42) 5.15 (4.21) 1.89 (0.17) 6 3.77 (0.37) 5.57 (4.29) 1.72 (0.16) 8 3.83 (0.32) 5.42 (4.24) 1.71 (0.15) 10 3.81 (0.33) 5.09 (4.79) 1.79 (0.19) Group SCAD 4 3.64 (0.52) 7.51 (3.03) 1.63 (0.22) 6 3.79 (0.47) 8.32 (4.14) 1.57 (0.17) 8 3.77 (0.46) 7.62 (3.02) 1.58 (0.17) 10 3.72 (0.53) 7.61 (3.00) 1.71 (0.20) 表3. 变量选择结果 通过对表3两种变量选择方法进行比较，采用最大概率法时，GroupLasso方法与GroupSCAD方法变量选择的效果差距不大；从错选变量(FM)个数看，Group Lasso方法倾向于筛选出更少的伪变量，特别在用剂量法时，Group Lasso错选变量个数明显小于Group SCAD方法。
system: [SYSTEM]

user: 4. 结束语 复杂疾病与基因位点通常存在非线性关系，全基因组测序建立复杂疾病与基因位点之间关系是一种有效途径，但是全基因组的准确测序也是一个耗时耗力的庞大工程。在部分基因位点基因型不确定下，采用“最大概率法”或“剂量法”来填补基因数据，GroupLasso以及GroupSCAD方法对非线性可加模型进行重要基因位点识别是一种有效途径。 本文在基因不确定情形下，基于GWAS创新一种基因表达方法，不同于传统的基因填补估计概率方法，结合了B样条工具拟合加性分量建立非参数可加模型，考虑了大样本基因的环境下进行组Lasso变量选择以获得初始估计；最后利用数值模拟对比证明了我们方法的优良性。在基因测序中，我们非参加性模型更灵活，对模型的假设要求更低，适用范围更广。
system: [SYSTEM]

user: 摘要 我们研究一种求解时间分数阶Fokker-Planck方程TVD有限体积方法，其中对流项和扩散项分别使用TVD离散格式和中心差分离散格式，时间分数阶导数采用 离散格式。数值实验结果表明，在较粗网格上求解对流占优问题时，我们的方法具有较好的优势。
system: [SYSTEM]

user: 1. 研究问题 我们研究如下时间分数阶Fokker-Planck方程(FFPE)： ∂ α w ∂ t α = ( k α ∂ 2 ∂ x 2 − ∂ ∂ x f ( x ) ) w ( x ， t ) ， a ≤ x ≤ b ， 0 ≤ t ≤ T ， (1.1) 初始条件和边值条件为 w ( x ， 0 ) = φ ( x ) ， a ≤ x ≤ b ， w ( a ， t ) = g 1 ( t ) ， w ( b ， t ) = g 2 ( t ) ， 0 ≤ t ≤ T ， (1.2) 其中 α ∈ ( 0 ， 1 ) ， k α 是正常数， f ( x ) ， φ ( x ) ， g 1 ( t ) ， g 2 ( t ) 是已经给定的函数，分数阶导数 ∂ α w / ∂ t α 表示 α ( 0 < α < 1 ) 阶Caputo分数阶导数： ∂ α w ∂ t α = 1 Γ ( 1 − α ) ∂ ∂ t ∫ 0 t ∂ w ( x ， s ) ∂ t d s ( t − s ) α ， Γ ( α ) 是Gamma函数。方程(1.1) 可以用来模拟受外力场作用下的反常扩散现象(参见文献 [ 1 ] )，此时 k α 表示广义扩散系数， f ( x ) 表示外力场。 我们研究求解(1.1)式的有限体积方法，其中对流项的离散使用TVD格式(TVD格式是由美国学者Harte提出的，它同时具有稳定、无振荡和高阶精度的数学特点，是较为先进的离散格式，参见文献 [ 2 ] )，空间扩散项的离散使用中心差分格式，时间分数阶导数离散采用L 1 格式(参见文献 [ 3 ] )。 假设 N ， L 为正整数，我们取空间步长 h = ( b − a ) / ( N + 1 ) ，时间步长 Δ t = T / L 。将区间 [ a ， b ] N + 1 等分， 分点为 x i = a + i h ， i = 0 ， 1 ， 2 ， ⋯ ， N + 1 。记 x i + 1 2 = ( x i + x i + 1 ) / 2 ，N个有限体积单元为 [ x i − 1 2 ， x i + 1 2 ] ， i = 0 ， 1 ， 2 ， ⋯ ， N ；将 [ 0 ， T ] L等分，分点为 t k = k Δ t ， k = 0 ， 1 ， 2 ， ⋯ ， L 。为了便于描述，记 f i + 1 2 = f ( x i + 1 2 ) 。 在方程(1.1)中取 t = t n ( n = 1 ， 2 ， ⋯ ， L ) ，在有限体积单元 [ x i − 1 2 ， x i + 1 2 ] 上对方程两边积分得 ∫ x i − 1 2 x i + 1 2 ∂ α w ∂ t α | t n = k α [ ( ∂ w ∂ x ) i + 1 2 n − ( ∂ w ∂ x ) i − 1 2 n ] − [ ( f w ) i + 1 2 n − ( f w ) i − 1 2 n ] ， i = 1 ， 2 ， ⋯ ， N . (1.3) 再对时间项用L 1 格式离散，空间扩散项用中心差分格式离散，可得 h Δ t − α Γ ( 2 − α ) ( w i n − ∑ k = 1 n − 1 ( a n − k − 1 − a n − k ) w i k − a n − 1 w i 0 ) = k α h ( w i + 1 n − 2 w i n + w i − 1 n ) − ( f w ) i + 1 2 n + ( f w ) i − 1 2 n ，     i = 1 ， 2 ， ⋯ ， N (1.4)
system: [SYSTEM]

user: 2. TVD格式离散对流项 对流项的TVD离散格式为 ( f w ) i + 1 2 n = f i + 1 2 [ w i n + 1 2 ψ ( r i + 1 2 + ) ( w i + 1 n − w i n ) ] ， f i + 1 2 > 0 ( f w ) i + 1 2 n = f i + 1 2 [ w i + 1 n − 1 2 ψ ( r i + 1 2 − ) ( w i + 1 n − w i n ) ] ， f i + 1 2 < 0. (2.1) 其中 r i + 1 2 + = w i n − w i − 1 n w i + 1 n − w i n ， r i + 1 2 − = w i + 2 n − w i + 1 n w i + 1 n − w i n . (2.2) 本篇文章中我们采用限制器Van Leer函数(参见 [ 4 ] )： ψ ( r ) = r + | r | 1 + | r | 。 对于一维Fokker-Planck方程，将(2.1) (2.2)式代入(1.1)式，经过运算以及整理可得离散格式为，对 i = 1 ， 2 ， ⋯ ， N ， F i ( w i − 1 n ， w i n ， w i + 1 n ) + G i ( w i − 1 n ， w i n ， w i + 1 n ) = h Δ t − α Γ ( 2 − α ) ( ∑ k = 1 n − 1 ( a n − k − 1 − a n − k ) w i k − a n − 1 w i 0 ) . (2.3) 其中 F i ( w i − 1 n ， w i n ， w i + 1 n ) = 1 2 f i + 1 2 [ β ψ ( r i + 1 2 + ) − β ¯ ψ ( r i + 1 2 − ) ] ( w i + 1 n − w i n )   − 1 2 f i − 1 2 [ β ψ ( r i − 1 2 + ) − β ¯ ψ ( r i − 1 2 − ) ] ( w i n − w i − 1 n ) (2.4) G i ( w i − 1 n ， w i n ， w i + 1 n ) = − [ max ( f i − 1 2 ， 0 ) + k α h ] w i − 1 n − [ max ( − f i + 1 2 ， 0 ) + k α h ] w i + 1 n   + [ max ( f i − 1 2 ， 0 ) + max ( − f i + 1 2 ， 0 ) + ( f i + 1 2 − f i − 1 2 ) + 2 k α h + h Δ t − α Γ ( 2 − α ) ] w i n (2.5) 在(2.4)式中，为了简便，定义了补函数，即 β ¯ ≡ 1 − β 。使用迭代法求解离散问题(2.3)，迭代过程中 F i ( w i − 1 n ， w i n ， w i + 1 n ) 中的 w n 使用旧近似值， G i ( w i − 1 n ， w i n ， w i + 1 n ) 中的 w n 使用新近似值，每一步迭代中线性问题求解使用稳定双共轭梯度法(参见 [ 5 ] )。
system: [SYSTEM]

user: 3. 数值实验及结论 算例1考虑以下Fokker-Planck方程 ∂ α w ∂ t α = ( k α ∂ 2 ∂ x 2 − ∂ ∂ x f ( x ) ) w ( x ， t ) + G ( x ， t ) ， 0 ≤ x ≤ 1 ， 0 ≤ t ≤ 1 ， 其中 k α = 1 ， G ( x ， t ) = 0 ， f ( x ) = { 100 ， x > 0.5 50 ， x ≤ 0.5 。 初始值和边界值分别为 w ( x ， 0 ) = 0 ， g 1 ( t ) = t 2 cos ( 2 π ) ， g 2 ( t ) = t 2 cos ( − 2 π ) . 图1展示的是TVD有限体积方法和中心差分格式有限体积法求解效果图，其中 L = 100 ， α = 0.2 ，从实 图1. N = 15求解效果对比(左)；N = 25求解效果对比(右) 验结果可以看出在较粗网格上求解对流占优问题时，中心差分格式会产生振荡，而TVD格式始终保持稳定。
system: [SYSTEM]

user: 摘要 随着信息技术与大数据技术的发展，另类数据的处理与使用为银行贷款风险管理提供了新的分析角度。本文在大数据技术和“互联网+”的背景下，研究另类数据应用于银行贷款风险管理的必要性，并且根据对于另类数据应用的有利条件和制约因素的分析，提出将另类数据应用于贷款风险管理的针对性措施，从而推动另类数据在银行业的应用，达到降低贷款风险、发展普惠金融的目的。
system: [SYSTEM]

user: 1. 问题提出 “互联网+”背景下，大数据技术正迅速迈入金融行业，其中另类数据(alternative data)——作为传统金融数据的重要补充，被给予了广泛的关注。另类数据是指由征信机构和数据服务机构等收集并进行加工整理的、用于放贷机构授信决策的、在传统的借贷信息采集范围之外的其他信息，例如新闻舆情、社交平台数据和电商数据等 [ 1 ]。2017年《新一代人工智能发展规划》提出，建立金融大数据系统，建立金融风险智能预警与防控系统。2019年政府工作报告提出，激励加强普惠金融服务，切实使中小微企业融资紧张状况有明显改善。而对中小企业另类数据的采集能够一定程度上把握其信贷风险，从而有效解决这一难题。另类数据能够一定程度上解决中小企业因信用评级数据不足而导致的融资难问题，在提高银行贷款效率的同时，也响应了国家关于发展普惠金融的政策号召。 银行目前的贷款审查依然是以传统数据为主，传统金融数据主要包括企业的财务报表、银行信贷记录等，这些数据具有规范化、可用性的特点。任健(2012)认为，银行对贷款对象进行可行性的研究，确定贷款投向、投量，往往只注重依靠贷款“三查”，对日常的资料积累和信息收集不够重视，对市场状况、影响因素及变化趋势预见不力，把握不准，最终导致贷款决策失误，产生贷款风险 [ 2 ]。可以看出，传统金融数据不够全面、不够真实的缺点阻碍了贷款风险管理，而另类数据Volume (大量)、Variety (多样)、Velocity (高速)、Value (价值)的4V优势则弥补了这一不足。 “互联网+”时代，大数据技术已经日趋成熟。对于大数据，麦肯锡全球研究所对于大数据的定义是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。这一定义主要强调了大数据的数量和规模特征，庞淑娟(2015)提出了基于建模大数据可以应用于个人贷款信用风险预警、信用卡申请审批等 [ 3 ]。董立武(2019)提出运用大数据信息技术完善商业银行与客户之间的业务管理信息平台，利用云信息管理平台不同的信贷业务的信息进行收集管理，从而实现信息的跟踪与分析，从客户的信息中找到隐藏的潜在风险，并根据风险程度采取相应的解决措施 [ 4 ]。大数据在贷款风险管理中的用处主要是从庞大的数据量中挖掘出可用的信息，另类数据虽然在数据量、处理方式以及应用模式都与大数据类似，但是另类数据主要来源于借款人日常的生产生活，因此更加真实、及时，在贷款风险管理上的可靠度也更高。本文在前人研究基础之上，分析现有情况，提出另类数据应用措施使商业银行能够更精准地识别贷款风险。
system: [SYSTEM]

user: 2. 另类数据应用于银行贷款风险管理的必要性 2.1. 完善信用评级 另类数据作为传统金融数据的补充，有利于解决信用评级领域痛点。虽然我国的征信系统正不断完善，但仍有大量消费者处于信用盲区，无法获得信用评级。另外，现有的信用评级指标一定程度上限制了潜在的优质借贷者，使得放贷者无法精准地控制风险，放贷数量也受到了限制。在这种情况下，另类数据的获取、分析和应用可以改进银行的传统承销机制，将其与分析技术结合可以评估之前未标记过的客户和规模较小的客户，帮助更多人获得或提升信用评级，解决中小企业融资难的问题。 2.2. 验证借款人信息的真实性 传统的金融数据很有可能存在伪造和统计错误的情况。而另类数据主要来源于个人日常活动、商业过程和传感器，信息处理方获得的多为原始数据，降低了在计算、编制中出现错误的可能性，而且生产生活中的数据伪造难度较大，可以体现借款者真实的活动轨迹。 2.3. 动态追踪借款人还款能力变化 在传统的贷款模式下，银行在发放贷款尤其是短期贷款之后，很难获得关于借款人的新动态，贷款风险也随之增加。而另类数据体量大、传输速度快，这也有利于及时全面地追踪检查借款人的经营情况和还款能力，促进精准贷后管理，强化信贷风险控制的同时也能够夯实资产质量。
system: [SYSTEM]

user: 3. 另类数据应用于贷款风险管理的有利条件与制约因素 3.1. 有利条件 3.1.1. 另类数据来源丰富、体量巨大 另类数据主要来源于个人活动、商业活动和监测工具获取的数据，在互联网时代社交媒体、新闻评论和网络搜索等都记录了个人活动的数据，而交易数据、企业数据和政府收集的数据则产生于商业活动，监测工具比如卫星图像和地理定位等也提供了大量的数据。商业银行可以与政府、数据处理商等达成合作，从多个渠道获取需要的另类数据。 3.1.2. 另类数据处理技术发展迅速 随着大数据和人工智能的发展，另类数据的处理和应用有了日益坚固的技术支持。商业银行已经拥有高性能的计算机，能够引进先进的数据处理办法，在软硬件条件上满足另类数据处理的需要。此外，随着另类数据的兴起，专业的另类数据提供商不断增加，如金融数据服务商Wind在2019年已经开始收录另类数据，也有更多的金融科技公司不断研发、改进另类数据处理技术，为商业银行应用另类数据提供了可行性。 3.1.3. 有“互联网+”背景下大数据应用的基础 大数据技术已经日臻成熟，云计算和人工智能也提高了数据处理的效率，降低了成本。大数据广泛地应用于商业银行的经营活动中，如拓展渠道、个性化服务、精准营销、小微企业信贷、信用管理和风险管理等方面 [ 5 ]。银行在应用另类数据的初期也可以从这些领域着手，结合已有的大数据应用经验，不断扩展另类数据的应用范围和程度。 3.2. 制约因素 3.2.1. 另类数据的自身缺陷 1) 缺少优质可用的数据。大多数另类数据的数据长度往往很短，通常来说另类数据集的历史数据长度是5年以内(2到3年比较常见) [ 6 ]。短期数据难以追踪借款人的过去资信，一定程度上降低了信息的可靠度。2) 处理的难度较高。对于非结构化数据以及日益增长的文本数据和多媒体数据，对其进行分析处理需要相应的技术，如自然语言处理和人工智能。而且部分数据的产生具有主观性，这是在后期难以修正的，另类数据中的个人数据如社交评论、网络搜索等主观性较高，而个人数据在另类数据中的占比很大。3) 另类数据取得的合法性问题和监管问题。目前多数网站已经采取了反数据爬取的措施，增加了数据获取的难度，同时数据的获取是否会侵犯用户隐私还没有明确的规定，数据取得的合理合法性以及未来对于数据获取的约束存在极强的不确定性。对于冗杂的隐蔽数据，如果全面禁止商业收集和使用，就会影响相关行业发展，也会使监控成本飙升，但是如果不监控其使用，难以保证数据不被滥用 [ 7 ]。 3.2.2. 数据分散导致难以构成贷款客户全方位画像 另类数据也存在“数据孤岛”问题，分散于不同机构与部门的数据缺少共享平台和互通渠道 [ 8 ]。商业银行需要客户的信息，如网购记录、社交平台评论、芝麻信用积分等，对客户提供的传统数据进行辅助验证，但这些数据因为来源不同由多个数据供应商掌握，商业银行需要从多个数据供应商处购买，贷款成本大幅度增加，又提高了中小客户的贷款难度。贷款后对于客户信息的更新也要从多个平台进行整理，信息反馈链复杂，降低了贷款风险管理的效率。 3.2.3. 银行贷款领域对另类数据重视程度不足 银行的贷款客户可以分为大客户和中小客户，大客户主要是一些大型企业，其资信状况良好，可以提供完整的财务报表等传统金融数据，是银行贷款的主要流向对象。而中小客户，包括中小企业和个人，很难提供正规的财务、信用数据，信用风险较高，商业银行因其盈利性的本质大多不愿意将贷款发放给中小企业和没有征信记录的个人。即使另类数据可以作为补充，银行考虑到信息收集难度、贷款成本和研发费用，也不愿意通过应用另类数据来拓展中小贷款客户以及完善贷款风险管理制度，银行的重视程度不足也制约了另类数据在贷款领域的发展。 3.2.4. 银行缺乏相关技术和人才储备。 我国商业银行有贷款审查制度，银行按照固定的流程和标准审查借款人的相关情况。在另类数据大规模应用前，银行没有成熟的技术和专业的人才将其落实，而开发技术、培养人才以及制定规范的制度需要较高的成本。此外，中小银行对高端技术人才的吸引力较小，这也一定程度上制约了另类数据的发展。
system: [SYSTEM]

user: 4. 国内外另类数据应用经验 美国的FICO公司是使用预测分析技术和数据科学来提高运营决策效率方面的行业开创者，它通过对自身相关资源的整合，向新兴市场提供信用评分，释放了30亿信用缺失的消费者的经济活力，帮助放贷者为全球无法享受银行服务或者有限银行服务客户提供合适的信贷服务。FICO普惠金融的全球评分计划，对于建设符合中国国情的征信体系，有着很好的启示意义，可以充分利用另类数据来扩大普惠金融人群的覆盖面 [ 9 ]。国内商业银行可以借鉴FICO建立统一的、利用大数据和另类数据的信用评级系统，为无信用记录的人提供信用评级并挖掘出潜在优质客户。银行对于利用另类数据进行信用评分具有较高的需要，其担心拒绝没有信用评级的消费人群，这就意味着拒绝可能存在的盈利空间。一些信用合格者，如新移民者，没有借贷记录，但是可能具有还款意愿和能力。通过另类数据对这些群体进行评级，银行可以找到信用水平较高的潜在客户，在可接受风险范围内，增加新客户、提高盈利能力。 全国小微企业金融服务标杆浙江泰隆商业银行，派信贷员实地蹲点采集企业一手信息，比如商店的客流量、交易金额、货架的品种丰富度和服务员的态度，依据这些信息决定是否贷款及贷款额度。这一方式既提高了贷款的安全性，也为更多的潜在客户提供了贷款可能。商业银行可以学习浙江泰隆商业银行，开发和应用另类数据处理技术，培养专业化人才，通过实地调研获得可靠的另类数据，用于降低贷款风险。同时，将非结构化数据纳入信用体系，与数据供应商、处理商合作，进行资源整合，提高数据间的关联度，通过多个模型算法交叉验证数据的真实性。