Hardening soft information sources

" $#"% & &' ()% & % &% ! *+ (, . " & 0/213 . '4 5 6 7 98: 5 & ; < !%; & = ' >"& ! 5 & % &%; ! ?*@ (, . " & 06A % & ! &% & *; 5 " ! 7B& (, C;D0 & ') 7 & 3 ? E *F*G%;8 " & H6 * 5 JI$% ; #"% "6K & & '"-,% *L M ? N *; & O ! / PK>G . 8; % *; ! " Q ; 5 ! 8 ; R S*; 5 " H !T" ? *U(R ! . ! ! & O 78 8: ! F V*; 5 " F & % * ' . ! W ? ! 5 % BX !* C$*; 5 " /$YN ! ! 9 A(, . ' . G* S W (, * " 5 N 5 H E '7T5 ! & Z ( . [% IG 7 !*7* " 5 "/ \$ 7 & ] & *; ! 7 & U !* 8 ! . 6^ ,/ "/ 6: & A8 ! . (Q (, & . 5 E I_ '`% *; '" !* * " 5 7 T5 W8 ! & !%; W (, F*; 5 " "/$abIG ?'`(, ? " &% ! W ([ % c 8 8; ! 5 " ) & " S !*; ! ; W ) Qd . ' % ! ) ( ?T" *; A(e < T" f !*L(, 5 W ! IG 4 5 % /g\ (, . % " !* Z " 8 & . h? " & ]8; ! ; . *Z T5 A ) & T" 'W ) & . F 5 & . (, EO *i W A G ? H 8 & . % . / Categories and Subject Descriptors YF/ j / .gk l?mon p:q r s t u3p:m<v^w:x t y r x z D {W ? % General Terms * " 7 ! " & 1. INTRODUCTION ! " $#"% & &' ()% & % &% ! *+ (, . " & 0/213 . '4 5 6 7 98: 5 & ; < !%; & = ' >"& ! 5 H & % &%; ! ?*U (, . " & 06G ;% H & Q ! &% & )* " 5 Q ! B| (, C D^ & '} 7*G%;8 5 & 3 W *N 5 JI)% #"% ? & & '"% * ;M~ *; ! & O ! / a} 7  >G . 8 () $ (e A* " 5 "6S & * Z & c ! " W 5 ! 8; L*; 5 " !T" ? *@(R ! . !  ! & O 8 8: ! 5 %; ! ] "* *i ! D\ h 20 &-&S ? ! ^6 PK " 6cj5;? Y} !'WG 6 H & %; ! ^60:a"i?;/  % ! Z "* *i ! D]N 8 / (  . 8;% $G "6}E T /f ( \$ " & " 06i 5 & A\ aF/ KDD ’00 Boston, Massachusetts USA X?   )GG,G "?   G  =¡ G¢?£ X¤SG¢ :¥: ¦ §AG ̈G ©U aH¢ «RX«R¬ "¦:!!¡ G­ «3G¢S«3 ̈W G,«=R® G «=¦ « , ̄;&°5±  2¦ «RGX«RG ̈:£;X¤["¢!o¥: ¦ §FG ̈i ©U aHG¢! ̈  ¦3¦ 3H ̈ «3­  ¢ ?«3, ̄; °5± G  =¡ G¢?£ X¤S± ¥: ¦ §AG ̈G ©F a¢ «3,«3¬!"¦:!!¡ G­ «RG¢o?G¢E?GX« 3® G «=¦ «R3 ̄; °5± G  =¡ G¢?£ X¤S± ¥: ¦ §AG ̈G ©FX¤  ́:7a^μN¤V¶^· ̧ ¡ !G¢& §410¢&G­ «3 ̈Go  °5± 3¡ G¢| )GG,G "? »  G  =¡ G¢?£  G¢! ? ¦ §AG ̈;©¬ ¢ «3,«3¬!"¦ °5±  2¦ «RGX«RG ̈:£J!"¢! ? ¦ §AG ̈ ©H¬!G¢  ̈  ¦3¦ °5± G  =¡ G¢?£  G¢! ? ¦ §AG ̈;© ¦ G¬ 1⁄4G! 1⁄2 °"± 3⁄4 u3¿:ÀHq yLÁ;Â ÃÅÄix?p;n t ÆÈÇHu,ÇHÉ,uep ¿:q s ÊHËHu=Ì ÍHs t s Ç^s;x?yLs m^ÍftË^y ÀHm^ÍHy q É3w^u,m^¿<Ä Ë^s qÍHÆ]ÍHs;t s '$ 'G . F &%  " FE ? ! :13 * > k " z  ! k j z /Z * " " ? E ? (, . " & $ : % S & % *; S ( ; 8 8: ! /ÎYN T5 6: N ) (, $ !*$ W* . 7 ( | W & H ! (, K } & S . Q8 8: 6G H (0 & . SÏ, "/ ;/)B|\ .  CA *B&\+/_PE/  CGÐQ ! (e ) & N . E8Ñ ! 0/K [ . IG Q *i Òc !%; S )8: (, . " & N 8: ! 5 & N &% J Z " % &9 & E G% . : } (K 5 & N F A8 ! & % )8 8: ! N 8: ! ^/ YN ! ! 7 )(, . h W c (, )*; 5 " c " ) 7 ] ; <*G & * & O ! ! . 'Ó ! !(, S F & ) . ) & |'"/K\ N(, . h? U !*G] " 7 & 98 ! . (V*; ? . < & Ï . 5 U I_ ' Ð9 ! (, ! ! ? : & & N (, Q * & O ! &d & : " N 6 *; ! . ; ; 48 ! Î () (, ) *; & O ! c ! (, Î & W . 9 ! ? -| * M ? /K [ E ! ? &%; (H & U !*$Ï, T5 & RÐS*; 5 " "/ aE  >G . 8 W 7 & < LÔ^ %; ! 5/ ÕN 5 & W & " . ! Z % & 7 : Î*i ! (R ! . & A !*]*; 5 " Z»Ö & ] & (e E* " 5 cQ/S13 W8 ! & % 6×»Ø . 8 A & " } Ù % & ) ( & E8 8: ÓB&Ú 0a  Û ÚSÜSÝL & ? ! . 8; ! T" "C7 ÒÎ " * &  ,6: ! ! ) " }* G 5 / aE & % W N% W ; " ! "8; R *; 5 " c % ; < >". 8; "60 F & c . 8 " & h c & " N (, N* " c U . ' *G Þ: ! $ ?>G / ̧Ô Z ? "6F (, Z*; 5 . W : ! ! " ?* '4 % . " & ? ' >G & ! " & (, " ? Ó(R ! . 5 & O *È "* k  z 6^ ) S ! % 88Ñ " & " k  z /7aß (, )* " 5 . A (3 ! .. ! < & ? Z () ?T" ! ) ! ! " " ! % 6 % . % & '"-& ! ! " *ÈBX !* C9* " 5 / Ô . '"6_ Q " &% . (, o(, 5 ^ ! Q T" Ó N & Î . . 5 &%; ! c ( 2 IG ' | 9 * & O ! c ! 7 W Ñ 7 -, ! (e ! / Ï,Ô S >G . 8; "6 & } & 5 cB&\+/ PS/  ! C7 *<B|\ R .  C ! c -,8 8 % & ' ? -, ! (, ! ! 6H ! ? " F & 7 & " B|\ .  CA *]B&Ú ! G . CF ! " / ÐA\ & c(, . h } & 8 ! . ( O *i 7 & [ Ñ AB, !*;C . G* : (: ) ( (, (, " ? E8 ! 3 & " R'"/F\$ A* O 7 78 )8 ! &' *G & % & 4 T5 N8: 5 & ; 7 !* * " 5 ) * F8; )8; ! ;; |'+*G & % & " 2 T5 W . $ -X ! !(, ! / E T" È & *G & % & : 6K & F " &I$ ( & % & & . " S IG ' !* * " 5 Q : ? . H S ! -&* O ?*7 8 & . h 5 & c8; ! ; . /K [ 8 & . h " & f8; ! ; . T" T" . . h Ñ L & &% . (F & G% . : Î (} &%;8 )  & A !*]*; 5 " "6H8 % 7 ? " ) " G ! 5 * & & ) S (K -, ! (, ! ) 5 &% . 8 & N ! #"% ! *:/ 2. A FORMAL VIEW OF HARDENING \$ ) K " &% . F 7 S (FB, ! (, ! C 6: " (K ; N . & 9 ! !(, 9 c . N ! -| * M /Saf &% 8 A (Q ! (e ! ? U F UÏ ÐN ! ! " ? A T" ! 7 . O >G * ? N ( ! " & 7 * 6 6 ! F ! (, ! /ÎE IG ? T" ! & N !*<* " 5 "6 c S g*G & 7 ! (e ! ? N ! (, K ) & N . ! -| *c & &'"/K\$ N* O } 7    GG,G!" F 9 : c ) (} &%;8 7 (S & 7(, . UÏ Ð 6 ! @ ! 5 S T5 } . NO >G * S (^ ! 5 & ) * 6 6 W ! N ! (, ! ! ? / 13 < & Ó " ! 8 3 * . L & c . c & . A* " *G Þ: ! ! 9 ! & & c [ <% * L*G Þ: ! c >G 6 "/ ;/ 6H & & 4B|{W J " ! " !*; C . )*; " F c*i ÞÑ ! N8: ! c ? E ) !' & Ó8 8Ñ 7 ! 8 ; ? . G* /c H c !% . T" Î & ; )8; ! ; . c < & % A ! (, ! ! ? U '$ ;? " " & 7 N & F [ & Z . *G " & $ (: & S ?>G ×(3 ! . J & " c & < " c >G & ! 5 * N(, c "6} & % & . B|{W J " ! " !*; C ?>G & ! " *$(3 ! . 98Ñ " 8 A8 8: % *9 : N ! !8; ! ! *W 5 E & E ! !(, ! B&{W " " !*; C 6 *c %; *c : S*i & S(3 ! . & [ ! !(, ! WB|{W J " ! ! " !* C#" ?>G & ! " *W(R ! . A S S !'%$ / H F ! &%; Ù 7 & ) >G . 8 F (KÔ^ % ! c"6 &% 8 8: " F U " 8 ! ? *W | )8: " 8 E8 8Ñ ! N * i/K N(, 7(, 5 T" ) : Ù >G & ! " ? *W(3 ! . & ) & & )8 5 " F ( "D G   ¡ G¢ £ X¤SG¢!o¥: ¦ §FG ̈G& ' !©Î aH¢!«3,«3¬ "¦0!!¡ G­ «RG¢ «3 ̈W?GX« 3® G «=¦ «R3 ̄;& ( 3°5±  2<¦R£;X¤[G¢ ^¥: ¦ §FG ̈G& ' !©Î aHG¢! ̈  ¦3¦S3H ̈ «3­  ¢  «3, ̄ ) ( ,°"± * &%;8 8: 5 & c(, (, 5 A T" 9 Ñ L ?>G & ! " * (3 ! . & N ; 5 ! "8 ' ? & $ ( iD G   ¡ G¢ £ X¤S± ¥: ¦ §FG ̈i& * ©Î aH¢ «RX«R¬ "¦0! ¡ G­ «3G¢  G¢N G,«=R® G «=¦ «3, ̄;) * °5± G   ¡ G¢ £ X¤S± ¥: ¦ §FG ̈i& * ©ÎX¤  ́:7a^μ}¤)¶0·A0[1G1:¦  ̄"«R ̈GoA ¡ !G¢& § 10¢&G­ «3 ̈Go7,N10¢&G ¦  §?"¦ ­ «3 ̈Go & *|°"± H 5 " & } & U(e " (, . 7 (, S*; 5 " ÎQ/ Y} !* )* . H & Q ? -, ! (, ! ! H ! 5 & & ; 8 Q : | ! !(, ! S $ & F (, S* " 5 "/S F -, ! (e ! N ! " & 8Ñ 8 . " E " &% ! ' ! 8 ! * 'c $ #"% T c ! &  ] & c (e N ! (, ! /ZYN ?T" 6^ ! A ) F J ' . ! ) T" N F IW & Ù c 8 ! " & (3% & d W(R%; & . 8 8; 5 J ] (e U ! (e ! 7 9 !*$ 8; ! !5 & 0/ 1e  !*; Ó ! ! . 'L & % ? Ó ! 8; ! 5 & (R%; & c 7(, . % " W < 8; ! ? " & L(R%; &  5 7 (c«3 ̈ X ¢310¢& ,G,«3G ̈ G¢&¬ c 5 J (} ; 4 c  ! W (} & 9(, . + , * ! * * ! A*G & ? U ! (e ! 6: * -@ } -X 5 " & T" N ! ? G% . Ñ NÏ, ? " !Ð^*G % ?*9 . ! * K : )/)aE «R ̈ , ¢310¢& ,G,«3G ̈/.Î ) 5 'G c } (K 8 ! " & 4 ! 6H &% J & 5 U(, 7 Q ! !(, ! % A 8;8Ñ ` .W & ! 7 A 5 . 5 A c ! 9 (S & Ó(e . + , 0*213.;/c [ * O; & S E 8 ! " & < ! ? E F : A *o6 ,/ "/ 6; S 8: 5 & ; $ & 5 + , * 13.` * * + 4 , 05617.;/$13 < & 7 " N S *G ! & '$ 8; ! ? * " 8 5 /}Ô V ' T" $ 8 ! & 9.) *c 'A ! (e ! "6G S* O 8.;Ï ÐH N : } & S%; & . 5 8 ! " & < (: "D .;Ï Ð<;>= .;Ï ? Ð (@.U + , ? " & ! ÕN 5 A & " } 8 ! 5 & .7* O; ) 7 !* * " " .;Ï|HÐ * T" * '9 ! !8; 5 $ 5 J ! (e ! U ] 'c E% & . " 7 8 ! " & % *; 8.;/ ÜE(} % ! 7 5 7 8; ! ? " & W ! 78: " & Wd 7 %; * " W 8 ! +B|ÚN/}G . CL " LB|YA/ Û % h C / ̧ 6-b & ! >+ , * 9 & 5 `Ï, c%; IG !Ð ( 8; ! ? & ) 5 0*G/AÔ . ' F " &% . c & 7 ? " ) ! 8 ! T" * * & N(, . ( A1 GX  ̈ ,«3"¦ «R ̈ , ¢310¢& ,G,«3G ̈A?  6" ,/ "/=6 .0A'B C) ()Ï, ! * ÐV8Ñ " & E ! 8; ! 5 & ! /9 E T" F (, * " 5 7$ *W F D.0A'B CK (08: " ! & H 8 ! " & % H 5 " [ : K O; *A ) 8 ! " & /. E .FA'B C . ; . h & W 5 A(3% & HG"Ï .GÐ)* O; * " A(, E c ! 6I Î *HIJ* ! W8 ! . ! c () & " A(R%; & %K .;Ï|HÐ K^ 9 & 9 G% . : ([*i & F &%;8 ) < & F !* * " 5 2.;Ï|HÐ0  *LK .MK; ) & G% . : ! ) (H ! 8; ! 5 & ] ! .;/ G5Ï .GÐON -UÏ .GÐ PQI K .;Ï|HÐ K PQI * K .MK Ï Ð -)Ï .GÐON R SUTWV X S&Y Z\[ ÕN 5 ) & 5 S " . ! ) ! S ! ) "* *; * .A E T" ) & " D-UÏ .GÐ]P IJ*WK .MKi ! " ? 7 ; /I K .;Ï|HÐ K * ! 5 /7 7 " N(R%; & ? Ó ! !8; ! ! 7 W & ! 5*; Þ4 : ? & ! & 7%; IG W (S & 8 ! " & ß *+ & ? . 8 " & $ (Î & ! &% & 4 !* * " " 5/) ; } M & T5 A(3% ? & $ ) 8 8; ! >" . 5 ' * T" * (3 ! . A8; ! ; & R . G* ^ $ & N(, W & ^/ 3. A PROBABILISTIC MODEL 1e Ù & ; } & $ ) T5 A 8 8 ! >" . " A8 ! & c* T & $ (K & ) ? " (3% & 4Ï Ð /K^ D^ "Ï|»2 F.J HÐS 7*G & ;% & !* * " 5 Î» 6; 8 ! " & .;6 * (, N* " 5 Q/KaE Z 8 & . ^ !* ; c ( )8 )»2 F.) & " . 5>" . h ^ "Ï|»2 F.MK HÐ /ÕN " & ? N & " H(, UO >G *Z & } 8 & . : !* ; : N(, % *W '9 & . 8; ' . 5>" . h & M~ E8 ! &'$ ( »2 F.A *$Q/ H N* O _^ _Ï|»2 F.J JHÐ^ 5 &% . E & " H & ! Q K EO E ? `4 ( 8: " & : ! -| *9 M H *7 NO E ? H ( ! 5 & 6 5 J < ( O >G * |'"/c ? 9 5 &% . 8 & A . 8; ' & " F & ! 7 WO ; F (S8: 5 & ; &% 8 /a J  %; * 8 8: 7 » / \$ W /b : & W G% . : Ù (N8Ñ " & !*L &%;8 /È1e & 8 ! & . G* : S " &% . } & 5 × : 5 & Z & !*c*; 5 U " » *+ & $ (, c* " " b È*i% 8 " < &% 8; / \$ W K »cKH *>K dK Ñ & W G% . : Z (F &%;8 9 È» *  ! &8: ? & T" 'Î [ ! *G & G % ! K (: & . &% 8; S ! & ! ? " *Z " S 8 ! " ) ! . / \ } 7 K .MK : ) & S G% . : (: ! ? ^ c 7 ! 8; ! 5 & 9.Ed 5 & " K*i% 8; ? " & Ù (: ! 9.N × % *Z % × '7 & ! #"% ! . & " T" !') ! (, ! ! ? E " 5 . " K E % 5 A ! "/K\  5 &% . N & " ^ _Ï `d !.J HÐ ? W Ñ A* . 8: " ?* " (, S N ! V6 [ 6; * 7 ! N ! G% . : N8 ! . ! S $ & N ! !T SÏ J Ð * & N G% . Ñ } ?* 7 & 5 D^ _Ï .GÐ &% . S W"/ ^ "Ï|»2 F.J !HÐ ; ^ "Ï|dK .J J» Ð (^ "Ï .GÐ ^ "Ï|» Ð Ï|"Ð ^ "Ï|» ÐO; Ï  Ð  b Ï,GÐ ^ "Ï .GÐO;  [ Ï  [ Ð [ S T V X S Y Z\[ + Ï,jGÐ ^ "Ï|dK .J J» ÐO; Ï  ! Ð  K . Ï|» Ð K" Ï|"Ð 13 <Ï|"ÐS N T5 A & " 8. Ï|» ÐQ ) & A S ( (, S &%;8 a+ &% J & " D.;Ï aSÐ<1$» *QK . Ï|» Ð K" N & ) !*G &'$ (K & N ? / Ñ T5 #"% " & ? ! &8: *c S N ? ! 78 ! G ^(e K " ! ;! ! " & ) & & 8 )»2 .J !Q/KÔ^ ! K» H " ! 5 *A 'N ! 8: ? " *G ' ! & 7 ( & %b8: " & 9 !* &% 8 ) " N ! * . /ÎaS ? " 4 ! 5 & & W ? & L8 ! G c 8 7 & 48 ! &' b *< & G% c & 8 ! 3 |'+ # N/$a ̧ & . c8 ! ? E % * 7 " ! ! 5 .A 'c ? & Z ! S(3 ! . .0A(B C ! & 98 ! &'L (} & Z ! 6 + , 0*c A8; ! 8: ! & F + *Z ! 56; 5 J Ù & ! " & ^6: & N ! & 8 ! G ! . 5 ) & 8; ! ; |'$ [ /[1e $ & ) " F (K 5 ! ! " & 6.;6 T5 6^ (, F & A ! N T5 A : ! < ?* F J I$ & 5 . S ! o(e . *:6G ,/ 5/=6 & " Q Q S 5 'G F *9 & " S 5 J c ! (e ! " S 5 . " S ) % " c * " "/[1e(:.U 5 E ^(, . *Z & ) ! N T5 /S13(K & F E