<table><thead><tr><th></th><th>W-ADT</th><th>W-BN</th><th>W-Log100</th><th>NB-EF-BG</th><th>NB-EF-M</th><th>NB-EF-BG</th><th>NB-EF-M</th><th>W-NB-S</th><th>W-NB-S</th><th>W-RE10</th><th>W-RE40</th><th>W-VFI</th><th>W-VFIEN</th></tr></thead><tbody><tr><td>Adult</td><td>28.64</td><td>39.37</td><td>30.01</td><td>40.85</td><td>30.41</td><td>40.73</td><td>29.73</td><td>38.23</td><td>30.58</td><td>33.46</td><td>37.73</td><td><strong>46.18</strong></td><td></td></tr><tr><td>Australian</td><td>45.86</td><td>65.32</td><td>45.53</td><td>57.02</td><td>53.94</td><td>55.99</td><td>44.12</td><td><strong>66.17</strong></td><td>48.43</td><td>52.13</td><td>51.11</td><td>62.37</td><td></td></tr><tr><td>Breast</td><td>61.52</td><td>83.70</td><td>82.08</td><td>88.89</td><td>88.89</td><td><strong>88.92</strong></td><td>82.76</td><td>83.63</td><td>82.88</td><td>85.20</td><td>84.21</td><td>88.86</td><td></td></tr><tr><td>Bupa</td><td>14.19</td><td>2.02</td><td><strong>17.75</strong></td><td>10.48</td><td>10.48</td><td>9.76</td><td>8.26</td><td>1.96</td><td>14.90</td><td>16.28</td><td>8.30</td><td>8.66</td><td></td></tr><tr><td>Crx</td><td>46.73</td><td>62.86</td><td>44.37</td><td>54.27</td><td>52.00</td><td>53.40</td><td>43.71</td><td><strong>63.59</strong></td><td>46.86</td><td>50.82</td><td>48.45</td><td>58.91</td><td></td></tr><tr><td>German</td><td>17.49</td><td>4.54</td><td>15.51</td><td>17.20</td><td>17.20</td><td>16.92</td><td>18.51</td><td>4.59</td><td>18.64</td><td><strong>21.74</strong></td><td>15.29</td><td>18.44</td><td></td></tr><tr><td>Heart</td><td>42.48</td><td>59.44</td><td>47.95</td><td>58.07</td><td>54.24</td><td>57.68</td><td>49.47</td><td>60.14</td><td>50.22</td><td>53.59</td><td>46.64</td><td><strong>61.78</strong></td><td></td></tr><tr><td>Hepatitis</td><td>36.16</td><td>57.85</td><td>35.04</td><td>46.30</td><td>41.94</td><td>45.26</td><td>32.16</td><td><strong>60.91</strong></td><td>43.53</td><td>46.90</td><td>43.34</td><td>55.85</td><td></td></tr><tr><td>Horsecolic</td><td>44.41</td><td>54.46</td><td>41.07</td><td>44.70</td><td>33.88</td><td>45.11</td><td>29.08</td><td><strong>57.08</strong></td><td>49.18</td><td>54.92</td><td>49.17</td><td>52.52</td><td></td></tr><tr><td>Hypothyroid</td><td>26.39</td><td>9.91</td><td>33.30</td><td>38.32</td><td><strong>38.81</strong></td><td>37.85</td><td>16.01</td><td>7.44</td><td>35.21</td><td>37.81</td><td>35.21</td><td>34.46</td><td></td></tr><tr><td>Ionosphere</td><td>45.63</td><td>47.00</td><td>35.35</td><td>58.20</td><td>58.20</td><td>56.82</td><td>44.75</td><td>46.89</td><td>55.36</td><td><strong>60.61</strong></td><td>78.09</td><td>77.66</td><td>82.42</td></tr><tr><td>Mushroom</td><td>61.75</td><td><strong>84.61</strong></td><td>73.47</td><td>77.27</td><td>71.14</td><td>77.27</td><td>84.41</td><td>84.41</td><td>75.56</td><td></td><td></td><td></td><td></td></tr><tr><td>Pima</td><td>28.26</td><td>19.00</td><td>30.58</td><td>31.50</td><td>31.50</td><td>31.17</td><td>26.76</td><td>19.12</td><td>32.82</td><td><strong>35.95</strong></td><td>26.51</td><td>31.45</td><td></td></tr><tr><td>SickEuthyroid</td><td>31.74</td><td>17.08</td><td>32.90</td><td>37.90</td><td>36.64</td><td>39.65</td><td>20.62</td><td>12.17</td><td>35.28</td><td><strong>42.33</strong></td><td>33.59</td><td>34.56</td><td></td></tr><tr><td>Sonar</td><td>26.88</td><td>31.71</td><td>33.79</td><td>33.12</td><td>33.12</td><td>33.15</td><td>26.72</td><td>31.65</td><td>36.10</td><td><strong>42.42</strong></td><td>22.51</td><td>33.67</td><td></td></tr><tr><td>Spam</td><td>44.03</td><td>54.31</td><td>57.14</td><td>68.25</td><td>68.25</td><td>67.19</td><td>55.39</td><td>54.33</td><td>60.64</td><td>66.77</td><td>55.83</td><td><strong>68.26</strong></td><td></td></tr><tr><td>Tictactoe</td><td>17.09</td><td>19.82</td><td><strong>27.38</strong></td><td>17.54</td><td>10.61</td><td>17.54</td><td>20.27</td><td>20.27</td><td>19.21</td><td>21.63</td><td>16.04</td><td>18.71</td><td></td></tr><tr><td>Moyenne ALC</td><td>36.43</td><td>41.94</td><td>40.19</td><td>45.88</td><td>43.01</td><td>45.55</td><td>37.22</td><td>41.92</td><td>43.26</td><td>47.10</td><td>40.55</td><td><strong>47.50</strong></td><td></td></tr></tbody></table>

<table><caption>TAB. 4 – ALC par algorithme et jeu de données mais avec l’aire entre 2 et $2^6 = 64$ exemples en apprentissage</caption><thead><tr><th></th><th>W-J48</th><th>NB-M-BG</th><th>NB-M-M</th><th>NB-EF-M</th><th>NB-EF-BG</th><th>SNB-EF-M</th><th>SNB-EF-BG</th><th>SNB-EF-M</th><th>SNB-EF-BG</th><th>SNB-M-M</th><th>SNB-M-BG</th><th>SNB-M-M</th><th>W-SCart</th></tr></thead><tbody><tr><td>Adult</td><td>11.21</td><td>30.34</td><td>40.53</td><td>19.72</td><td>23.43</td><td>20.65</td><td>23.48</td><td>21.34</td><td>24.63</td><td>17.83</td><td>4.35</td><td></td><td></td></tr><tr><td>Australian</td><td>38.85</td><td>52.99</td><td>57.47</td><td>52.79</td><td>36.58</td><td>37.57</td><td>36.15</td><td>37.43</td><td>39.30</td><td>42.05</td><td>24.83</td><td></td><td></td></tr><tr><td>Breast</td><td>54.86</td><td>88.92</td><td>63.19</td><td>63.19</td><td>67.84</td><td>67.84</td><td>68.03</td><td>68.03</td><td>63.14</td><td>63.14</td><td>40.97</td><td></td><td></td></tr><tr><td>Bupa</td><td>6.78</td><td>9.76</td><td>1.31</td><td>1.31</td><td>8.87</td><td>8.87</td><td>8.14</td><td>8.14</td><td>1.30</td><td>1.30</td><td>4.23</td><td></td><td></td></tr><tr><td>Crx</td><td>39.50</td><td>51.15</td><td>54.52</td><td>52.17</td><td>36.12</td><td>37.66</td><td>36.06</td><td>37.56</td><td>38.72</td><td>42.01</td><td>26.97</td><td></td><td></td></tr><tr><td>German</td><td>8.43</td><td>16.92</td><td>3.82</td><td>3.82</td><td>9.83</td><td>9.83</td><td>10.95</td><td>10.95</td><td>3.81</td><td>3.81</td><td>2.88</td><td></td><td></td></tr><tr><td>Heart</td><td>25.93</td><td>53.66</td><td>53.81</td><td>39.91</td><td>34.19</td><td>33.94</td><td>32.90</td><td>32.73</td><td>36.44</td><td>34.35</td><td>17.85</td><td></td><td></td></tr><tr><td>Hepatitis</td><td>18.19</td><td>41.07</td><td>43.88</td><td>35.83</td><td>26.66</td><td>27.93</td><td>26.98</td><td>28.10</td><td>25.99</td><td>26.20</td><td>8.54</td><td></td><td></td></tr><tr><td>Horsecolic</td><td>31.30</td><td>34.56</td><td>48.65</td><td>39.77</td><td>34.61</td><td>27.70</td><td>35.41</td><td>28.48</td><td>37.81</td><td>30.81</td><td>1.67</td><td></td><td></td></tr><tr><td>Hypothyroid</td><td>31.15</td><td>56.82</td><td>39.30</td><td>39.30</td><td>41.67</td><td>41.67</td><td>42.30</td><td>42.30</td><td>38.53</td><td>38.53</td><td>21.60</td><td></td><td></td></tr><tr><td>Ionosphere</td><td>11.47</td><td>38.19</td><td>18.51</td><td>14.28</td><td>19.32</td><td>19.50</td><td>29.47</td><td>29.63</td><td>14.87</td><td>14.49</td><td>7.11</td><td></td><td></td></tr><tr><td>Mushroom</td><td>52.99</td><td>71.14</td><td>77.27</td><td>71.14</td><td>62.30</td><td>60.64</td><td>62.30</td><td>60.64</td><td>62.30</td><td>60.64</td><td>46.68</td><td></td><td></td></tr><tr><td>Pima</td><td>18.38</td><td>31.17</td><td>15.81</td><td>15.81</td><td>24.77</td><td>24.77</td><td>26.04</td><td>26.04</td><td>15.86</td><td>15.86</td><td>9.92</td><td></td><td></td></tr><tr><td>SickEuthyroid</td><td>16.31</td><td>38.65</td><td>22.80</td><td>9.66</td><td>25.84</td><td>25.53</td><td>27.55</td><td>27.60</td><td>9.53</td><td>8.90</td><td>10.63</td><td></td><td></td></tr><tr><td>Sonar</td><td>15.39</td><td>33.15</td><td>26.04</td><td>26.04</td><td>18.60</td><td>18.60</td><td>19.24</td><td>19.24</td><td>21.24</td><td>21.24</td><td>11.52</td><td></td><td></td></tr><tr><td>Spam</td><td>32.00</td><td>67.19</td><td>41.92</td><td>41.92</td><td>38.96</td><td>38.96</td><td>35.31</td><td>35.31</td><td>40.13</td><td>40.13</td><td>21.05</td><td></td><td></td></tr><tr><td>Tictactoe</td><td>8.92</td><td>10.61</td><td>17.54</td><td>10.61</td><td>13.53</td><td>9.83</td><td>13.53</td><td>9.83</td><td>13.53</td><td>9.83</td><td>5.50</td><td></td><td></td></tr><tr><td>Moyenne ALC</td><td>24.80</td><td>42.72</td><td>36.85</td><td>31.60</td><td>30.77</td><td>30.09</td><td>31.40</td><td>30.79</td><td>28.65</td><td>27.71</td><td>15.66</td><td></td><td></td></tr></tbody></table>
Impact de la taille de l'ensemble d'apprentissage

<figure><img src="image_16.png" /><figcaption>FIG. 4 – AUC en fonction du log₂ du nombre d'exemples appris</figcaption></figure>
<table><caption>TAB. 5 – Rang moyen. ALC moyen et AUC finale moyenne</caption><thead><tr><th>Algorithme</th><th>Rang moyen</th><th>ALC moyen</th><th>AUC finale moyenne</th></tr></thead><tbody><tr><td>W-RF40</td><td><strong>3.65</strong></td><td><strong>59.26</strong></td><td><strong>91.30</strong></td></tr><tr><td>NB-EF-BG</td><td>4.53</td><td>56.25</td><td>88.04</td></tr><tr><td>NB-EW-BG</td><td>6.47</td><td>55.27</td><td>86.82</td></tr><tr><td>W-VFI-N</td><td>6.82</td><td>55.33</td><td>83.13</td></tr><tr><td>NB-EF-M</td><td>7.06</td><td>54.55</td><td>88.04</td></tr><tr><td>W-RF10</td><td>7.29</td><td>55.56</td><td>89.70</td></tr><tr><td>W-BN</td><td>8.18</td><td>53.88</td><td>87.36</td></tr><tr><td>W-NB-S</td><td>8.53</td><td>53.89</td><td>87.35</td></tr><tr><td>NB-EW-M</td><td>9.00</td><td>53.57</td><td>86.80</td></tr><tr><td>W-ADT</td><td>10.88</td><td>51.01</td><td>88.66</td></tr><tr><td>W-Log100</td><td>10.88</td><td>52.12</td><td>88.55</td></tr><tr><td>W-NB-NS</td><td>11.00</td><td>50.51</td><td>87.09</td></tr><tr><td>NB-M-BG</td><td>11.94</td><td>49.93</td><td>86.81</td></tr><tr><td>W-VFI</td><td>13.65</td><td>48.86</td><td>82.04</td></tr><tr><td>SNB-EF-BG</td><td>14.88</td><td>46.96</td><td>88.15</td></tr><tr><td>SNB-EW-BG</td><td>15.47</td><td>46.59</td><td>87.06</td></tr><tr><td>NB-M-M</td><td>15.94</td><td>46.83</td><td>86.84</td></tr><tr><td>SNB-EF-M</td><td>16.06</td><td>46.54</td><td>88.20</td></tr><tr><td>SNB-EW-M</td><td>16.53</td><td>46.17</td><td>86.99</td></tr><tr><td>SNB-M-BG</td><td>16.53</td><td>44.97</td><td>87.07</td></tr><tr><td>SNB-M-M</td><td>17.82</td><td>44.46</td><td>87.19</td></tr><tr><td>W-J48</td><td>20.65</td><td>38.74</td><td>82.84</td></tr><tr><td>W-SCart</td><td>22.24</td><td>31.95</td><td>81.70</td></tr></tbody></table>

de données qui ne leur est pas favorable. L'un des meilleurs exemples est la figure 4(d) qui montre un jeu de données qui fonctionne très bien avec une régression logistique mais qui est très mauvais avec un Bayésien naïf.

## 4.3 Analyse

### Analyse globale

Cette étude a été réalisée sans optimisation des paramètres des algorithmes mais principalement en utilisant les paramètres par défaut de ceux-ci. C4.5 (J48) et CART (SimpleCart) sont des références en apprentissage mais cette étude montre qu'ils ne sont pas adaptés pour bien travailler avec des petits jeux de données. En effet ils se retrouvent derniers que ce soit au niveau du rang moyen ou de l'ALC moyenne.

Au contraire, le Bayésien naïf est connu pour bien fonctionner sur de petits jeux de données (Domingos et Pazzani, 1997). Les figures 4(a) et 4(b) confirment ce résultat. Très rapidement les classificateurs générés sont capables de donner de bons résultats, on observe assez souvent qu'il faut entre $2^5$ et $2^8$ exemples en apprentissage pour être très proche de l'AUC maximale.

Les algorithmes basés sur les arbres ne fonctionnent pas bien directement (C4.5, Cart) mais une fois combinés avec des techniques de bagging/boosting ils sont parmi les meilleurs de cette étude : RandomForest. La figure 4 montre le bon comportement général des forêts d'arbres sur 4 jeux de données. Il faut noter que les sous-figures 4(c) et 4(d) mettent en avant des classificateurs (W-NB-S et W-Log100) qui sont particulièrement bien adaptés à ces deux jeux de données (Crx et TicTacToe). Même dans ces cas, RandomForest affiche de bons résultats ;
Impact de la taille de l'ensemble d'apprentissage

<table><caption>TAB. 6 – Rang moyen, ALC moyen et AUC finale moyenne mais avec l'aire entre 2 et $2^6 = 64$ exemples en apprentissage</caption><thead><tr><th>Algorithme</th><th>Rang moyen</th><th>ALC moyen</th><th>AUC finale moyenne</th></tr></thead><tbody><tr><td>W-RF40</td><td><strong>4.35</strong></td><td>47.10</td><td><strong>86.21</strong></td></tr><tr><td>W-VFI-N</td><td>4.59</td><td><strong>47.50</strong></td><td>82.43</td></tr><tr><td>NB-EF-BG</td><td>4.65</td><td>45.88</td><td>83.45</td></tr><tr><td>NB-EW-BG</td><td>5.41</td><td>45.55</td><td>82.34</td></tr><tr><td>W-RF10</td><td>6.88</td><td>43.26</td><td>84.09</td></tr><tr><td>NB-EF-M</td><td>7.47</td><td>43.01</td><td>83.29</td></tr><tr><td>NB-EW-M</td><td>8.29</td><td>42.72</td><td>82.12</td></tr><tr><td>W-BN</td><td>8.88</td><td>41.94</td><td>81.58</td></tr><tr><td>W-NB-S</td><td>8.88</td><td>41.92</td><td>81.28</td></tr><tr><td>W-Log100</td><td>10.00</td><td>40.19</td><td>79.99</td></tr><tr><td>W-VFI</td><td>10.24</td><td>40.55</td><td>77.91</td></tr><tr><td>W-NB-NS</td><td>11.53</td><td>37.22</td><td>82.60</td></tr><tr><td>W-ADT</td><td>11.76</td><td>36.43</td><td>83.02</td></tr><tr><td>NB-M-BG</td><td>11.88</td><td>36.85</td><td>80.92</td></tr><tr><td>SNB-EW-BG</td><td>15.65</td><td>31.40</td><td>81.93</td></tr><tr><td>SNB-EF-BG</td><td>15.88</td><td>30.77</td><td>82.44</td></tr><tr><td>NB-M-M</td><td>16.18</td><td>31.60</td><td>80.29</td></tr><tr><td>SNB-EW-M</td><td>16.76</td><td>30.79</td><td>81.76</td></tr><tr><td>SNB-EF-M</td><td>17.12</td><td>30.09</td><td>82.20</td></tr><tr><td>SNB-M-BG</td><td>17.76</td><td>28.65</td><td>80.18</td></tr><tr><td>SNB-M-M</td><td>19.41</td><td>27.71</td><td>80.12</td></tr><tr><td>W-J48</td><td>19.94</td><td>24.80</td><td>74.14</td></tr></tbody></table>

de manière générale il se situe mieux que les autres classifieurs sur la grande majorité des jeux de données.

Il est étonnant de voir apparaître dans le haut du tableau de cette étude un algorithme assez peu connu : VFI. Cet algorithme se comporte particulièrement bien avec le paramètre qui ne pondère pas les intervalles des variables en fonction de la confiance ("weight feature intervals by confidence" : W-VFI-N). Si on s'arrête aux 64 premiers exemples en apprentissage (Tableau 6), il se retrouve premier en ALC et deuxième en termes de rang avec un très faible écart par rapport au premier.

## Analyse pour les modèles discriminants

Les algorithmes discriminants sont représentés dans cette étude par les forêts d'arbre (RF et RF40) et la régression logistique (Log100). L'algorithme RandomForest paramétré avec une taille de forêt de 40 arbres est le meilleur de cette étude sur tous les points de vue, premier pour le rang, l'ALC moyenne et l'AUC finale moyenne. La possibilité de cet algorithme à essayer de nombreux arbres avec seulement une partie des variables explicatives lui permet d'être à la fois bon en début d'apprentissage ainsi qu'en fin.

Bien qu'elle se positionne après RandomForest, le Bayésien naïf et VFI, la régression logistique n'est pas si éloignée au niveau de son score d'ALC. Dans certains cas particuliers elle fonctionne même bien mieux que les autres méthodes comme le montre la figure 4(d) sur le jeu de données TicTacToe.
## Analyse pour les modèles génératifs

Parmi les modèles génératifs testés dans cette étude, le Bayésien naïf est le plus évalué. On constate que la discrétisation des variables continues et le groupement des variables catégorielles influencent grandement les résultats. Le meilleur choix est constitué par la paire ("EqualFrequency", "Basic Grouping") suivi de ("EqualWidth", "Basic Grouping"). La discrétisation régularisée (Boullé, 2006b) et la méthode de groupement MODL (Boullé, 2005) sont trop robustes pour être capables de générer un modèle avec peu d'exemples. Dans le cadre de cette étude, les méthodes "les plus simples" ont l'avantage de s'exprimer plus rapidement et donc de donner de meilleurs résultats.

Les méthodes régularisées (approche MODL et Bayésien naïf sélectif) sont connues pour avoir un faible biais-variance (Cucker et Smale, 2008). Par conséquent afin de maintenir ce faible biais-variance, leur variance et donc aussi leur AUC va être plus faible en début d'apprentissage. Cette plus grande robustesse les amène à ne pas prédire un résultat très variable et donc à rester "silencieuses". Ces méthodes se retrouvent donc avec des scores faibles dans le cadre de cette étude et se positionnent en dernières positions bien qu'elles soient quand même meilleures que C4.5 et Cart.

Les modèles génératifs générant un classifieur non linéaire (voir table 1) sont représentés dans cette étude par les réseaux Bayésiens. Ils se comportent assez bien mais se situent juste après les RandomForest, VFI et le Bayésien naïf. Sur certains jeux de données : Adult et Mushrooms (figure 4(b)), ils sont les meilleurs classifieurs en termes d'ALC.

## Comparaisons avec des analyses existantes

Les résultats de la littérature<fnref n="5" /> sont confirmés dans cette étude : les méthodes par vote et ensemble de classifieurs ont de très bons résultats Bauer et Kohavi (1999), les modèles génératifs sont meilleurs que les modèles discriminants quand le nombre d'exemples est faible (Bouchard et Triggs, 2004), les méthodes régularisées sont robustes (Cucker et Smale, 2008).

# 5 Conclusion et travaux futurs

## 5.1 Vers un nouveau critère ?

Nous avons vu précédemment les résultats présentés dans deux tableaux : un contenant les résultats de l'aire sous la courbe d'AUC (ALC) s'arrêtant à 2⁶ exemples (tableau 6) et un autre donnant l'AUC finale (tableau 5). Le premier tableau indique le comportement de l'algorithme au début de l'apprentissage et le second sa performance en fin d'apprentissage. Les deux axes de la figure 5 reprennent ces deux critères d'évaluation. En moyenne, seul "RandomForest" et "NB-EF-BG" arrivent à être bien positionnés au niveau de ces deux critères. La régression logistique et le boosting d'arbres : ADTree ont de bonnes performances en AUC finale mais leurs ALC sont relativement faibles. Au contraire les algorithmes de type "VFI" ont une bonne ALC mais une mauvaise AUC finale.

<footnote n="5">5. La plupart des études de la littérature ne sont pas réalisée sur de si petits jeux de données, par conséquence pour les comparer il faut se placer après avoir appris sur au moins 2⁷ (128) à 2¹⁰ (1024) exemples.</footnote>
Impact de la taille de l'ensemble d'apprentissage

<figure><img src="image_17.png" /><figcaption>FIG. 5 – Positionnement des différentes méthodes en termes d'ALC<sub>26</sub> et d'AUC<sub>finale</sub></figcaption></figure>

Cette analyse pose la question de faire évoluer le critère d'ALC vers un nouveau critère qui prendrait en compte ces deux aspects. En effet, il serait intéressant d'avoir un critère synthétique nous permettant d'évaluer la qualité d'un algorithme selon ces deux axes. Ce critère pourrait par exemple s'écrire sous la forme suivante :

$$Critère = \frac{ALC_{26} + AUC_{finale}}{2}$$

## 5.2 Combinaison d'algorithmes

Dans cette étude, peu de cas se présentent où un algorithme particulier est très bon sur le début de l'apprentissage et un autre algorithme est très bon sur la fin de l'apprentissage. Cependant si nous étions dans une telle situation, c'est à dire comme celle de la figure 6, il serait intéressant d'utiliser deux algorithmes distincts pour réaliser l'apprentissage : W-VFI-N pour les 2<sup>8</sup> premiers exemples puis une Bayésien naïf sélectif pour la fin de l'apprentissage.
<figure><img src="image_18.png" /><figcaption>FIG. 6 – *Un jeu de données (Adult) où une combinaison d’algorithmes est souhaitable*</figcaption></figure>

## 5.3 Recommandations

Il ressort de cette étude que plusieurs algorithmes peuvent être utilisés pour construire un modèle sur un ensemble d’apprentissage de faible taille : le Bayésien naïf qui était attendu pour ces qualités sur de faible quantité de données et les forêts d’arbres. Ces deux algorithmes nécessitent d’être paramétrés pour obtenir leurs meilleurs performances : les couples (“Equal-Frequency”, “Basic Grouping”) et (“EqualWidth”, “Basic Grouping”) fonctionnent le mieux pour le Bayésien naïf et une forêt de 40 arbres pour “RandomForest”. Si l’on s’intéresse plus particulièrement au tout début de l’apprentissage, une méthode par vote sur des intervalles (VFI) se positionne au même niveau que les meilleures méthodes de cette étude.

## Références

- Bauer, E. et R. Kohavi (1999). An empirical comparison of voting classification algorithms : Bagging, boosting, and variants. *Machine learning* 36(1), 105–139.

- Blake, C. L. et C. J. Merz (1998). UCI Repository of machine learning databases. http://archive.ics.uci.edu/ml/ visité pour la dernière fois : 15/09/2010.

- Bouchard, G. et B. Triggs (2004). The tradeoff between generative and discriminative classifiers. In *IASC International Symposium on Computational Statistics (COMPSTAT)*, pp.
721-728.

Bouckaert, R. (2004). Bayesian Network Classifiers in Weka. http://weka.sourceforge.net/manuals/weka.bn.pdf.

Boullé, M. (2004). Khiops : A Statistical Discretization Method of Continuous Attributes. *Machine Learning* 55(1), 53-69.

Boullé, M. (2005). A grouping method for categorical attributes having very large number of values. *Machine Learning and Data Mining in Pattern Recognition*, 228-242.

Boullé, M. (2006a). MODL : A Bayes optimal discretization method for continuous attributes. *Machine Learning* 65(1), 131-165.

Boullé, M. (2006b). Regularization and Averaging of the Selective Naive Bayes classifier. *The 2006 IEEE International Joint Conference on Neural Network Proceedings*, 1680-1688.

Breiman, L. (2001). Random forests. *Machine learning* 25(2), 5-32.

Breiman, L., J. Friedman, R. Olshen, et C. Stone (1984). *Classification and regression trees*. Chapman and Hall/CRC.

Cessie, S. L. et J. V. Houwelingen (1992). Ridge estimators in logistic regression. *Applied Statistics*.

Cucker, F. et S. Smale (2008). Best Choices for Regularization Parameters in Learning Theory: On the Bias-Variance Problem. *Foundations of Computational Mathematics* 2(4), 413-428.

Demiröz, G. et H. Güvenir (1997). Classification by voting feature intervals. *Machine Learning: ECML-97*, 85-92.

Domingos, P. et G. Hulten (2000). Mining high-speed data streams. In *Proceedings of the sixth ACM SIGKDD international conference on Knowledge discovery and data mining*, pp. 71-80. ACM New York, NY, USA.

Domingos, P. et M. Pazzani (1997). On the optimality of the simple Bayesian classifier under zero-one loss. *Machine learning* 130, 103-130.

Fawcett, T. (2004). ROC graphs: Notes and practical considerations for researchers. *Machine Learning* 31, 1-38.

Féraud, R., M. Boullé, F. Clérot, F. Fessant, et V. Lemaire (2010). The orange customer analysis platform. In *Industrial Conference on Data Mining (ICDM)*, pp. 584-594.

Fisher, R. (1936). The use of multiple measurements in taxonomic problems. *Annals of economics* 7, 179-188.

Freund, Y. et L. Mason (1999). The alternating decision tree learning algorithm. In *Machine learning*, pp. 124-133.

Gama, J., P. Medas, et P. Rodrigues (2005). Learning Decision Trees from Dynamic Data Streams. In *Proceedings of the ACM Symposium on Applied Computing*

Gama, J., R. Rocha, et P. Medas (2003). Accurate decision trees for mining high-speed data streams. In *Proceedings of the ninth ACM SIGKDD international conference on Knowledge discovery and data mining*, pp. 523-528. ACM New York, NY, USA.

Guyon, I., G. Cawley, G. Dror, et V. Lemaire (2010). Results of the Active Learning Challenge. In *JMLR W&CP, Workshop on Active Learning and Experimental Design*, collocated with
AISTATS, Sardinia, Italy, Volume 10, pp. 1–26.

Guyon, I., V. Lemaire, G. Dror, et D. Vogel (2009). Analysis of the kdd cup 2009 : Fast scoring on a large orange customer database. *JMLR : Workshop and Conference Proceedings 7*, 1–22.

John, G. et P. Langley (1995). Estimating continuous distributions in Bayesian classifiers. In *Proceedings of the Eleventh Conference on Uncertainty in Artificial Intelligence*, pp. 338–345. Morgan Kaufmann.

Langley, P., W. Iba, et K. Thompson (1992). An analysis of Bayesian classifiers. In *Proceedings of the National Conference on Artificial Intelligence*, Number 415, pp. 223–223.

Lim, T., W. Loh, et Y. Shih (2000). A comparison of prediction accuracy, complexity, and training time of thirty-three old and new classification algorithms. *Machine learning* 40(3), 203–228.

Michalski, R. S., I. Mozetic, J. Hong, et N. Lavrac (1986). The Multi-Purpose incremental Learning System AQ15 and its Testing Application to Three Medical Domains. *Proceedings of the Fifth National Conference on Artificial Intelligence*, 1041–1045.

Quinlan, J. R. (1993). *C4.5 : programs for machine learning*. San Francisco, CA, USA : Morgan Kaufmann Publishers Inc.

Settles, B. (2010). Active learning literature survey. http://pages.cs.wisc.edu/~bsettles/pub/settles.activelearning.pdf.

Witten, I. H. et E. Frank (2005). *Data mining : practical machine learning tools and techniques*. Morgan Kaufmann Series in Data Management Systems, Morgan Kaufmann, second edition.

## Summary

Learning algorithms proved their ability to deal with large amount of data. Most of the statistical approaches use defined size learning sets and produce static models. However in specific situations: active or incremental learning, the learning task starts with only very few data. In that case, looking for algorithms able to produce models with only few examples becomes necessary. The literature's classifiers are generally evaluated with criteria such as: accuracy, ability to order data (ranking)... But this classifiers' taxonomy can really change if the focus is on the ability to learn with just few examples. To our knowledge, just few studies were performed on this problem. This study aims to study a larger panel of both algorithms (9 different kinds) and data sets (17 UCI bases).