Faits: A. Durant les périodes fiscales 2001 et 2002, les époux AX._ et BX._ (ci-après: les contribuables) étaient imposables dans le canton de Neuchâtel. La déclaration d'impôt des époux X._ pour 2001 est datée du 29 novembre 2002. Celle de la période fiscale 2002 porte la date du 12 septembre 2003. En mars 2003, le Service des contributions du canton de Neuchâtel (ci-après: le Service des contributions) a adressé à AX._ des taxations provisoires pour l'impôt fédéral direct et pour l'impôt cantonal et communal 2001. En décembre 2003, il a fait de même pour les impôts de la période 2002. Par lettre-signature du 16 mars 2006 envoyée dans le cadre de l'examen des taxations provisoires 2001 et 2002, le Service des contributions, Office de contrôle et des tâches spéciales, a requis des époux X._ des informations concernant le bail à loyer conclu par la société Y._ Sàrl, et qui leur appartenait selon l'autorité. En effet, les contribuables sous-louaient à cette société des locaux commerciaux pour 43'200 fr. par année, alors que celle-ci les louait à un tiers pour un montant annuel de 6'600 fr. seulement. L'Office de contrôle et des tâches spéciales a requis copie du bail et a annoncé que, sans nouvelles de la part des contribuables, les taxations 2001 et 2002 seraient corrigées et rendues définitives sans prendre en compte la majoration des loyers. Le 13 avril 2006, le Service des contributions a notifié à AX._ les taxations définitives pour l'impôt fédéral direct et l'impôt cantonal et communal des périodes 2001 et 2002. Par lettre-signature du 18 juillet 2006, l'Office de contrôle et des tâches spéciales a invité AX._ à le joindre, afin de fixer une entrevue, toutes les tentatives d'entrer en contact avec lui étant demeurées vaines. Le 18 octobre 2006, l'Etat de Neuchâtel et la Commune de Z._, tous deux représentés par le Service des contributions, ont notifié à AX._ deux commandements de payer concernant l'impôt fédéral direct et l'impôt cantonal et communal des périodes 2001 et 2002. Par décision du 7 février 2007, le Tribunal du district de Neuchâtel a rejeté la mainlevée d'opposition, le Service des contributions n'ayant pas pu rapporter la preuve formelle de la réception par AX._ des décisions de taxation litigieuses. De nouvelles taxations définitives pour les périodes 2001 et 2002, datées du 21 mars 2007 pour l'impôt cantonal et communal et du 30 mars 2007 pour l'impôt fédéral direct, ont été notifiées à AX._, qui a formé réclamation. B. Par décisions du 12 novembre 2007, le Service des contributions a partiellement admis la réclamation s'agissant de la déduction des dépenses professionnelles et l'a rejetée en ce qui concerne les pertes des activités lucratives indépendantes. Contre ces décisions, AX._ a interjeté un recours au Tribunal fiscal du canton de Neuchâtel, qui a été rejeté par jugement du 30 juin 2009. AX._ a porté l'affaire devant la Cour de droit public du Tribunal administratif du canton de Neuchâtel (ci-après: le Tribunal administratif), en s'en prenant essentiellement aux impôts pour la période 2001 et "éventuellement" à ceux pour l'année 2002. Le 16 mars 2010, le Tribunal administratif a rejeté le recours, en se référant largement aux considérants de l'arrêt du Tribunal fiscal du 30 juin 2009. Il a aussi mis un émolument de décision de 2'500 fr. ainsi que des débours par 250 fr. à la charge du recourant. C. Par écriture parvenue au Tribunal fédéral le 5 mai 2010, AX._ a formé un recours contre l'arrêt du Tribunal administratif du 16 mars 2010. S'en prenant aux taxations de l'impôt fédéral direct et de l'impôt cantonal et communal des périodes 2001 et 2002, il se plaint de violation des garanties de procédure, spécialement du droit d'être entendu et de l'obligation de motiver les jugements, de l'interdiction de l'arbitraire, du principe de non-rétroactivité des actes normatifs ainsi que du principe d'égalité; il invoque la protection de la bonne foi et fait valoir que le droit de taxer est prescrit pour les impôts de la période 2001. Il a demandé l'effet suspensif, requête qui a été rejetée par ordonnance présidentielle du 11 mai 2010. Il a aussi requis que le jugement soit prononcé sans frais, ce qui a également été refusé, le délai pour effectuer l'avance de frais ayant été prolongé jusqu'au 22 juin 2010. L'avance de frais a été versée dans le délai ainsi imparti. Le Tribunal administratif et l'Administration fédérale des contributions ont conclu au rejet du recours.