Опробовано простое дерево

Результаты не очень впечатляющие - на kaggle.com ~1770/2100;
точность предсказания - около 75%, в принципе можно на пару-тройку процентов этим методом повысить, если более правильно выбрать параметры дерева.