Faits: A. Le 24 avril 2005, A.X._ et B.X._ ont déposé leur déclaration d'impôt pour la période fiscale 2004. Le revenu imposable déclaré s'élevait à 100'500 fr. et la fortune imposable à 812'000 francs. La déclaration d'impôt déposée faisait état d'une perte de 19'152 fr. résultant de l'activité indépendante de A.X._. Par décision de taxation du 4 septembre 2006, l'Office d'impôt de Lausanne et Ouest lausannois a refusé la déduction des pertes. Il a fixé le revenu imposable à 119'600 fr. et la fortune imposable à 765'000 fr. pour l'impôt cantonal et communal. Il a fixé le revenu imposable à 123'300 fr. pour l'impôt fédéral direct. Le résultat de l'activité indépendante engendrait chaque année des pertes sans produire pratiquement de revenu. Aucune réalisation de profits n'était recherchée. La comptabilité était non probante. Il s'agissait en réalité d'une activité qui pouvait être considérée comme un hobby. Le 2 septembre 2006, A.X._ a déposé une réclamation contre la décision de taxation du 4 septembre 2006. Il a exposé qu'il était spécialiste dans le domaine du risque criminalistique, qu'il allait déposer prochainement une thèse à l'Université de Lausanne, qu'il avait notamment travaillé six mois sur un projet pour l'Etat de Vaud qui avait finalement été refusé apparemment à défaut de budget. Par décision du 3 février 2009, l'Administration cantonale des impôts a rejeté la réclamation. Les 2 et 16 mars 2009, A.X._ et son épouse ont déposé un recours auprès de la cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal), dans lequel A.X._ précise ses activités de consultation, notamment par la production de cartes de visite et le renvoi à des sites internet dont le sien, ses activités intellectuelles notamment par l'enregistrement de quatre ouvrages auprès de la Bibliothèque nationale suisse ainsi que par une attestation de l'Université de Lausanne relative à des examens passés en 2000 à l'Institut de police scientifique et de criminologie. Il ressort des pièces produites par ce dernier que de 1998 à 2007 son découvert moyen annuel s'est élevé à environ 18'000 fr. alors que les honoraires encaissés ont oscillé entre 10'000 fr. en 1998 et zéro sur plusieurs années (1999, 2003, 2004, 2006 et 2007). B. Par arrêt du 4 mars 2010, le Tribunal cantonal a rejeté le recours déposé par les époux X._ en matière d'impôt fédéral direct, cantonal et communal. L'activité de A.X._ était depuis 1998 largement déficitaire, en moyenne de 18'000 fr. par année, de sorte qu'il ne s'agissait pas d'une activité indépendante lucrative. Les pertes résultant de cette activité à but idéal ne pouvaient être déduites du revenu imposable du couple. C. Par mémoire de recours du 6 avril 2010, A.X._ et A.X._ demandent au Tribunal fédéral, sous suite de frais, d'annuler l'arrêt rendu le 4 mars 2010 par le Tribunal cantonal. En substance, ils soutiennent que l'activité de A.X._ est bien une activité indépendante à but lucratif. Le Tribunal cantonal ne formule aucune observation sur le recours. Les Administrations fédérale des contributions et fiscale cantonale concluent au rejet du recours, dans la mesure où il est recevable.