Faits:
A. Le 24 avril 2005, A.X._ et B.X._ ont déposé leur déclaration d'impôt pour la période fiscale 2004. Le revenu imposable déclaré s'élevait à 100'500 fr. et la fortune imposable à 812'000 francs. La déclaration d'impôt déposée faisait état d'une perte de 19'152 fr. résultant de l'activité indépendante de A.X._.
Par décision de taxation du 4 septembre 2006, l'Office d'impôt de Lausanne et Ouest lausannois a refusé la déduction des pertes. Il a fixé le revenu imposable à 119'600 fr. et la fortune imposable à 765'000 fr. pour l'impôt cantonal et communal. Il a fixé le revenu imposable à 123'300 fr. pour l'impôt fédéral direct. Le résultat de l'activité indépendante engendrait chaque année des pertes sans produire pratiquement de revenu. Aucune réalisation de profits n'était recherchée. La comptabilité était non probante. Il s'agissait en réalité d'une activité qui pouvait être considérée comme un hobby.
Le 2 septembre 2006, A.X._ a déposé une réclamation contre la décision de taxation du 4 septembre 2006. Il a exposé qu'il était spécialiste dans le domaine du risque criminalistique, qu'il allait déposer prochainement une thèse à l'Université de Lausanne, qu'il avait notamment travaillé six mois sur un projet pour l'Etat de Vaud qui avait finalement été refusé apparemment à défaut de budget. Par décision du 3 février 2009, l'Administration cantonale des impôts a rejeté la réclamation.
Les 2 et 16 mars 2009, A.X._ et son épouse ont déposé un recours auprès de la cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal), dans lequel A.X._ précise ses activités de consultation, notamment par la production de cartes de visite et le renvoi à des sites internet dont le sien, ses activités intellectuelles notamment par l'enregistrement de quatre ouvrages auprès de la Bibliothèque nationale suisse ainsi que par une attestation de l'Université de Lausanne relative à des examens passés en 2000 à l'Institut de police scientifique et de criminologie.
Il ressort des pièces produites par ce dernier que de 1998 à 2007 son découvert moyen annuel s'est élevé à environ 18'000 fr. alors que les honoraires encaissés ont oscillé entre 10'000 fr. en 1998 et zéro sur plusieurs années (1999, 2003, 2004, 2006 et 2007).
B. Par arrêt du 4 mars 2010, le Tribunal cantonal a rejeté le recours déposé par les époux X._ en matière d'impôt fédéral direct, cantonal et communal. L'activité de A.X._ était depuis 1998 largement déficitaire, en moyenne de 18'000 fr. par année, de sorte qu'il ne s'agissait pas d'une activité indépendante lucrative. Les pertes résultant de cette activité à but idéal ne pouvaient être déduites du revenu imposable du couple.
C. Par mémoire de recours du 6 avril 2010, A.X._ et A.X._ demandent au Tribunal fédéral, sous suite de frais, d'annuler l'arrêt rendu le 4 mars 2010 par le Tribunal cantonal. En substance, ils soutiennent que l'activité de A.X._ est bien une activité indépendante à but lucratif.
Le Tribunal cantonal ne formule aucune observation sur le recours. Les Administrations fédérale des contributions et fiscale cantonale concluent au rejet du recours, dans la mesure où il est recevable.

Considérant en droit:
1. 1.1 Les recourants déclarent former un recours sans préciser la voie de droit qu'ils ont choisie. L'intitulé défaillant ou erroné d'un recours ne nuit cependant pas à son auteur, pour autant que les conditions de recevabilité du recours qui aurait dû être interjeté soient réunies (cf. <ref-ruling> consid. 3.1 p. 399).
L'arrêt attaqué constitue une décision finale rendue dans une cause de droit public par une autorité supérieure de dernière instance cantonale qui concerne à la fois l'impôt fédéral direct et l'impôt cantonal harmonisé, ce qui est admissible du moment que la notion d'activité lucrative indépendante ouvrant le droit à la déduction des pertes est la même (arrêt 2A.46/2005 du 31 août 2005, consid. 2 in StE 2006 B 23.1 n° 59) pour les deux catégories d'impôts (<ref-ruling> ss). Par conséquent, déposé en temps utile par les destinataires de l'arrêt attaqué, qui ont un intérêt digne de protection à l'annulation ou à la modification de celui-ci, le présent recours en matière de droit public est en principe recevable en vertu des <ref-law>, 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et 73 al. 1 de la loi du 14 décembre 1990 sur l'harmonisation des impôts cantonaux et communaux (LHID; loi sur l'harmonisation fiscale; RS 642.14). Il n'est en revanche pas conforme à la jurisprudence qui n'autorise le dépôt d'un seul acte de recours que lorsqu'il ressort clairement du mémoire de recours que la partie recourante s'en prend aux deux catégories d'impôts (cf. <ref-ruling> ss). En effet, les recourants ne font allusion ni à l'impôt fédéral direct ni à l'impôt cantonal. Cette imprécision ne conduit toutefois pas à l'irrecevabilité du recours du moment que l'arrêt attaqué lui-même ne distingue pas clairement les deux catégories d'impôts.
En principe, le recours doit contenir des conclusions réformatoires même dans les domaines visés par la loi sur l'harmonisation fiscale (<ref-ruling> consid. 1.5 p. 190 ss), des conclusions purement cassatoires, comme en l'espèce, sont néanmoins admises dans le recours en matière de droit public (<ref-ruling> consid. 1.4 p. 414 s.).
I. Impôt fédéral direct
2. 2.1 L'impôt sur le revenu a pour objet tous les revenus du contribuable, qu'ils soient uniques ou périodiques (<ref-law>). Sont notamment imposables, conformément aux articles 17, respectivement 18 LIFD, tous les revenus provenant d'une activité lucrative dépendante ou indépendante. Les contribuables exerçant une activité lucrative indépendante peuvent déduire les frais qui sont justifiés par l'usage commercial ou professionnel, parmi lesquels figurent notamment les pertes effectives sur des éléments de la fortune commerciale, à condition qu'elles aient été comptabilisées (art. 27 al. 1 et 2 let. b LIFD). Ce sont les pertes des sept exercices précédant la période fiscale (<ref-law>) qui peuvent être déduites, à condition qu'elles n'aient pas été prises en considération lors du calcul du revenu imposable de ces années (<ref-law>).
L'objet du litige porte sur le caractère lucratif de l'activité indépendante du recourant.
2.2 Est une activité lucrative indépendante celle qui est entreprise par une personne à ses propres risques, avec la mise en oeuvre de travail et de capital, dans une organisation librement choisie dans le but d'obtenir un gain en participant à la vie économique. Une telle activité peut être exercée à titre principal ou accessoire, de manière durable ou temporaire. Pour déterminer si l'on se trouve en présence d'une activité lucrative indépendante, il convient de se fonder sur l'ensemble des circonstances du cas; les différents critères ne doivent pas être examinés de manière isolée, et peuvent être réalisés avec une intensité variable. Il n'est du reste pas exigé que le contribuable participe à la vie économique de manière visible pour l'extérieur, ou qu'il apparaisse lui-même sur le marché et qu'une entreprise, un commerce ou une activité artisanale soit déployée (<ref-ruling> consid. 5b, p. 120 s.; <ref-ruling> consid. 5a p. 452 s.). N'est en revanche pas une activité lucrative indépendante une activité qui n'est exercée qu'en apparence ou qui n'est pas exercée dans le but d'obtenir un gain. Dans cette optique, l'intention subjective de réaliser un gain a une signification déterminante. Le but lucratif est un critère subjectif, qui se mesure à l'aide d'indices extérieurs, et non des simples déclarations de l'intéressé (<ref-ruling> consid. 3c p. 450; arrêt 2A.224/2005 du 9 novembre 2005, consid. 2.2 avec les références; Peter Locher, Kommentar zum DBG, Ie partie, Therwil/Bâle 2001, n° 14 ad <ref-law>). Cette intention fait défaut en présence d'une activité exercée comme un simple hobby (arrêt 2A.126/2007 du 19 septembre 2007, consid. 2.3, in RF 63, p. 36, 38).
II est dans l'ordre des choses qu'une activité entreprise en vue d'en tirer un revenu connaisse une période de démarrage au cours de laquelle les charges excèdent les produits ou sont tout juste couvertes par ceux-ci. C'est également un fait d'expérience qu'une activité longtemps bénéficiaire peut, à un moment donné, devenir déficitaire. Tant que ces situations ont un caractère passager et qu'il existe une perspective d'amélioration ou de redressement à terme raisonnable, ces situations ne font pas perdre à l'activité en question son caractère lucratif. Une activité durablement déficitaire constitue un indice significatif pour conclure au défaut de volonté de gain, notamment lorsque l'activité en cause est habituellement lucrative. En effet, celui qui entend exercer une activité dans un véritable but de gain se laissera en règle générale convaincre par des déficits durables qu'il est vain de poursuivre son activité et y mettra un terme. A défaut, il y a lieu de conclure qu'il persévère pour d'autres motifs que la volonté d'obtenir un revenu. En effet, si le contribuable persiste dans l'exercice de son activité en y engageant des moyens financiers propres dont il dispose par ailleurs et qu'aucun investisseur ne consentirait raisonnablement à engager, il opère alors un choix qui échappe à des critères de rationalité économique. Les dépenses ainsi consenties sont motivées par des considérations extra économiques; elles relèvent de l'emploi du revenu ou de la fortune privée et, comme telles, ne sont pas déductibles du revenu brut (arrêt 2A.40/2003 du 12 septembre 2003, consid. 2.3).
2.3 En l'espèce, le recourant est ingénieur et qualifie lui-même l'activité à laquelle il se consacre depuis 1998 de "recherches" en matière de "prophylaxie du risque". Concrètement, de 1998 à 2007, comme l'a retenu le Tribunal cantonal d'une manière qui lie le Tribunal fédéral (<ref-law>), le recourant a subi un déficit annuel moyen d'environ 18'000 fr., n'a encaissé aucun honoraire en 1999, 2003, 2004, 2006 et 2007 et de faibles honoraires au mieux de 10'000 fr. en 1998. Il a en outre passé des examens auprès de l'Institut de police scientifique et de criminologie de l'Université de Lausanne en 2000, ce qui ne constitue pas une activité lucrative. Depuis 2002, il a atteint l'âge de la retraite et perçoit des rentes de vieillesse. C'est par conséquent à bon droit que le Tribunal cantonal a jugé que l'activité du recourant, si sérieuse soit-elle aux yeux de ce dernier, est une activité destinée à sa propre formation, à la recherche et la rédaction d'ouvrages et très accessoirement au conseil dont n'ont résulté que de très faibles honoraires et surtout des pertes. Il s'agit par conséquent d'une activité à but idéal sans volonté de gain. Les pertes que le recourant enregistre dans sa comptabilité sommaire sont motivées par des considérations extra économiques et relèvent de l'emploi du revenu. On ne saurait non plus considérer que les pertes ont été subies dans une nécessaire période de démarrage, puisque le montant le plus élevé d'honoraires a été perçu en 1998 et que les dernières années aucun honoraire n'a été encaissé, en particulier en 2006 et en 2007. Parlant du développement de son activité, le recourant expose lui-même que de nombreuses branches économiques s'y opposeraient, le commerce des dommages négociés engendrant des profits considérables. Il démontre ainsi qu'il n'existe aucune perspective d'amélioration ou de redressement à terme raisonnable.
En jugeant que les pertes subies en 2004 par le recourant ne pouvaient être déduites de son revenu imposable, le Tribunal cantonal a correctement appliqué la loi sur l'impôt fédéral direct.
II. Impôt cantonal et communal
3. Comme la loi sur l'impôt fédéral direct, les art. 7 al. 1 et 8 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; loi sur l'harmonisation fiscale; RS 642.14) prévoient que sont notamment imposables tous les revenus provenant d'une activité lucrative dépendante ou indépendante. De même, les contribuables exerçant une activité lucrative indépendante peuvent déduire les frais qui sont justifiés par l'usage commercial ou professionnel, parmi lesquels figurent notamment les pertes effectives sur des éléments de la fortune commerciale, à condition qu'elles aient été comptabilisées. Ce sont les pertes des sept exercices précédant la période fiscale qui peuvent être déduites (art. 10 al. 1 let. et al. 3 LHID). Les art. 19 al. 1, 20 al. 1, 31 al. 2 let. b et 35 al. 1 de la loi vaudoise du 4 juillet 2000 sur les impôts directs cantonaux (LI/VD; RSV 642.11) ont un contenu identique à celui de la loi sur l'impôt fédéral direct et conforme à la loi sur l'harmonisation fiscale (cf. consid. 1.2 ci-dessus). Il s'ensuit que les considérations développées relatives à la notion d'activité lucrative indépendante et aux pertes déductibles s'appliquent aux impôts cantonal et communal. Par conséquent, le recours doit également être rejeté en ce qui concerne les impôts cantonal et communal.
4. Les considérants qui précèdent conduisent au rejet du recours tant en matière d'impôt fédéral direct que d'impôts cantonal et communal.
Succombant, les recourants doivent supporter les frais judiciaires solidairement entre eux (art. 65 et 66 al. 1 LTF) et n'ont pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté en tant qu'il concerne l'impôt fédéral direct.
2. Le recours est rejeté en tant qu'il concerne les impôts cantonal et communal.
3. Les frais de justice, arrêtés à 2'000 fr., sont mis à la charge des recourants solidairement entre eux.
4. Le présent arrêt est communiqué aux participants à la procédure à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud ainsi qu'à l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct, l'impôt anticipé, des droits de timbre.
Lausanne, le 27 août 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Zünd Dubey