Faits:
A. Durant les périodes fiscales 2001 et 2002, les époux AX._ et BX._ (ci-après: les contribuables) étaient imposables dans le canton de Neuchâtel.
La déclaration d'impôt des époux X._ pour 2001 est datée du 29 novembre 2002. Celle de la période fiscale 2002 porte la date du 12 septembre 2003.
En mars 2003, le Service des contributions du canton de Neuchâtel (ci-après: le Service des contributions) a adressé à AX._ des taxations provisoires pour l'impôt fédéral direct et pour l'impôt cantonal et communal 2001. En décembre 2003, il a fait de même pour les impôts de la période 2002.
Par lettre-signature du 16 mars 2006 envoyée dans le cadre de l'examen des taxations provisoires 2001 et 2002, le Service des contributions, Office de contrôle et des tâches spéciales, a requis des époux X._ des informations concernant le bail à loyer conclu par la société Y._ Sàrl, et qui leur appartenait selon l'autorité. En effet, les contribuables sous-louaient à cette société des locaux commerciaux pour 43'200 fr. par année, alors que celle-ci les louait à un tiers pour un montant annuel de 6'600 fr. seulement. L'Office de contrôle et des tâches spéciales a requis copie du bail et a annoncé que, sans nouvelles de la part des contribuables, les taxations 2001 et 2002 seraient corrigées et rendues définitives sans prendre en compte la majoration des loyers.
Le 13 avril 2006, le Service des contributions a notifié à AX._ les taxations définitives pour l'impôt fédéral direct et l'impôt cantonal et communal des périodes 2001 et 2002.
Par lettre-signature du 18 juillet 2006, l'Office de contrôle et des tâches spéciales a invité AX._ à le joindre, afin de fixer une entrevue, toutes les tentatives d'entrer en contact avec lui étant demeurées vaines.
Le 18 octobre 2006, l'Etat de Neuchâtel et la Commune de Z._, tous deux représentés par le Service des contributions, ont notifié à AX._ deux commandements de payer concernant l'impôt fédéral direct et l'impôt cantonal et communal des périodes 2001 et 2002. Par décision du 7 février 2007, le Tribunal du district de Neuchâtel a rejeté la mainlevée d'opposition, le Service des contributions n'ayant pas pu rapporter la preuve formelle de la réception par AX._ des décisions de taxation litigieuses. De nouvelles taxations définitives pour les périodes 2001 et 2002, datées du 21 mars 2007 pour l'impôt cantonal et communal et du 30 mars 2007 pour l'impôt fédéral direct, ont été notifiées à AX._, qui a formé réclamation.
B. Par décisions du 12 novembre 2007, le Service des contributions a partiellement admis la réclamation s'agissant de la déduction des dépenses professionnelles et l'a rejetée en ce qui concerne les pertes des activités lucratives indépendantes. Contre ces décisions, AX._ a interjeté un recours au Tribunal fiscal du canton de Neuchâtel, qui a été rejeté par jugement du 30 juin 2009.
AX._ a porté l'affaire devant la Cour de droit public du Tribunal administratif du canton de Neuchâtel (ci-après: le Tribunal administratif), en s'en prenant essentiellement aux impôts pour la période 2001 et "éventuellement" à ceux pour l'année 2002. Le 16 mars 2010, le Tribunal administratif a rejeté le recours, en se référant largement aux considérants de l'arrêt du Tribunal fiscal du 30 juin 2009. Il a aussi mis un émolument de décision de 2'500 fr. ainsi que des débours par 250 fr. à la charge du recourant.
C. Par écriture parvenue au Tribunal fédéral le 5 mai 2010, AX._ a formé un recours contre l'arrêt du Tribunal administratif du 16 mars 2010. S'en prenant aux taxations de l'impôt fédéral direct et de l'impôt cantonal et communal des périodes 2001 et 2002, il se plaint de violation des garanties de procédure, spécialement du droit d'être entendu et de l'obligation de motiver les jugements, de l'interdiction de l'arbitraire, du principe de non-rétroactivité des actes normatifs ainsi que du principe d'égalité; il invoque la protection de la bonne foi et fait valoir que le droit de taxer est prescrit pour les impôts de la période 2001. Il a demandé l'effet suspensif, requête qui a été rejetée par ordonnance présidentielle du 11 mai 2010. Il a aussi requis que le jugement soit prononcé sans frais, ce qui a également été refusé, le délai pour effectuer l'avance de frais ayant été prolongé jusqu'au 22 juin 2010. L'avance de frais a été versée dans le délai ainsi imparti.
Le Tribunal administratif et l'Administration fédérale des contributions ont conclu au rejet du recours.

Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1.1 p. 3).
1.1 Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a ainsi que 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Le fait que l'écriture déposée au Tribunal fédéral soit simplement intitulée "Recours" n'exclut pas sa recevabilité, dans la mesure où elle remplit les conditions formelles du recours en matière de droit public (cf. <ref-ruling> consid. 1.2 p. 302 s.).
1.2 L'arrêt attaqué constitue une décision finale rendue dans une cause de droit public par une autorité supérieure de dernière instance cantonale, qui concerne à la fois l'impôt fédéral direct et l'impôt cantonal harmonisé pour les années 2001 et 2002, ce qui est admissible lorsque les problèmes juridiques qui se posent sont identiques pour les deux catégories d'impôts (cf. <ref-ruling> consid. 1.3.1 p. 262 s.). Tel est le cas en l'espèce s'agissant des déductions refusées par le Tribunal administratif, de la prescription du droit de taxer et des frais de justice mis à la charge du recourant. Par conséquent, déposé en temps utile par le destinataire de l'arrêt attaqué, qui a un intérêt digne de protection à son annulation ou à sa modification, le présent recours est en principe recevable comme recours en matière de droit public en vertu des <ref-law>, 146 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts cantonaux et communaux (LHID; loi sur l'harmonisation fiscale; RS 642.14). Il est aussi conforme à la jurisprudence qui autorise le dépôt d'un seul acte de recours contenant les mêmes griefs ainsi que des conclusions identiques pour les deux catégories d'impôts (cf. <ref-ruling> consid. 1.3.3 p. 264).
1.3 Les conclusions 4 à 7 du recourant, relatives aux motifs pour lesquels son recours devrait être admis, sont irrecevables. Pour le reste, des conclusions réformatoires sont admissibles, car l'<ref-law> n'a pas valeur de lex specialis par rapport à l'<ref-law> (<ref-ruling> consid. 1.5 p. 190 ss). Selon cette dernière norme, elles sont même en principe obligatoires, dans la mesure où le Tribunal fédéral doit être mis en mesure de trancher après avoir annulé l'arrêt entrepris (<ref-ruling> consid. 1.3 p. 383). Le Tribunal de céans ne pouvant, selon l'<ref-law>, aller au-delà des conclusions des parties, celles-ci doivent être connues. En l'occurrence, le fait que le recourant ne prend pas explicitement de conclusions au fond ne saurait lui nuire, dans la mesure où l'on comprend qu'il requiert la prise en compte des déductions fiscales qui lui ont été refusées, ainsi que la renonciation à toute taxation au vu de la prescription du droit de taxer qui serait selon lui atteinte.
2. Le recourant a rédigé un recours particulièrement touffu, discutant les faits comme devant un tribunal d'appel et ne motivant que très partiellement de manière conforme aux art. 42 et 106 al. 2 LTF une grande partie de ses griefs. Dès lors qu'il agit sans l'aide d'un mandataire professionnel, le Tribunal fédéral n'entrera en matière sur ses griefs que dans la mesure où ils sont compréhensibles et ne sont pas complètement appellatoires.
3. Le recourant dénonce d'abord une violation de son droit d'être entendu consistant en ceci que le Tribunal administratif n'aurait pas suffisamment motivé son jugement.
3.1 La jurisprudence a déduit du droit d'être entendu l'obligation pour l'autorité de motiver sa décision, afin que l'intéressé puisse la comprendre, l'attaquer utilement s'il y a lieu et que l'autorité de recours puisse exercer son contrôle. La motivation d'une décision est suffisante lorsque l'autorité mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. L'autorité ne doit toutefois pas se prononcer sur tous les moyens des parties; elle peut se limiter aux questions décisives (<ref-ruling> consid. 2.6 p. 73; <ref-ruling> consid. 4.1 p. 88; <ref-ruling> consid. 3.3 p. 445). A l'instar de ce que prévoit l'<ref-law>, rien n'empêche une motivation par renvoi à la décision attaquée, dans la mesure où il s'agit d'un processus largement admis en droit suisse et qui ne contrevient pas au droit d'être entendu (arrêt 5P.378/2003 du 8 décembre 2003 consid. 3; Yves Donzallaz, Loi sur le Tribunal fédéral, 2008, p. 1585 no 4396).
3.2 En l'espèce, le Tribunal fiscal s'est déterminé, dans son jugement du 30 juin 2009, de manière très détaillée sur les arguments du recourant. Dès lors que, dans son recours au Tribunal administratif, ce dernier les a à nouveau fait valoir, rien n'empêchait cette autorité de renvoyer à la motivation pertinente figurant dans l'arrêt du Tribunal fiscal. A cela s'ajoute que, de toute évidence, le recourant a fort bien saisi l'argumentaire du Tribunal administratif, dès lors qu'il a été en mesure de rédiger une écriture fort conséquente à son encontre.
Le grief doit donc être rejeté.
4. Le recourant se prévaut ensuite, semble-t-il, d'arbitraire dans l'établissement des faits, dans la mesure où il conteste l'assimilation faite par le Tribunal administratif, du point de vue des moyens de preuve, des actes qu'il a accomplis comme contribuable avec ceux qu'il a effectués comme organe de la société à responsabilité limitée dont il est l'unique gérant.
4.1 S'agissant de l'appréciation des preuves et des constatations de fait, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 1.3, 134 I 140 consid. 5.4).
4.2 Au vu de ces principes, il n'y a de toute évidence aucun arbitraire à considérer qu'un document établi par le contribuable au nom d'une société qu'il gère individuellement et qui vise, semble-t-il, à confirmer le caractère déductible de différents frais considérés comme tels par le contribuable, ne soit en définitive retenu qu'à titre d'allégué de partie dénué de véritable force probante. Le droit reconnaît d'ailleurs qu'il est possible dans certaines situations de faire abstraction de la dualité entre une personne morale et la personne physique la détenant. Il n'y a ainsi pas d'entités indépendantes lorsque la société, économiquement, est entièrement entre les mains de son actionnaire et que la dualité est opposée à un tiers d'une manière qui constitue un abus de droit ou qui porte une atteinte manifeste à des intérêts légitimes (<ref-ruling> consid. 5a/aa p. 321 et les arrêts cités). En l'espèce, la situation a ceci de particulier que la société Y._ Sàrl est détenue par l'épouse du recourant, qui est imposée avec lui, alors que c'est le recourant qui gère au surplus cette société.
Il y a d'autant moins d'arbitraire dans ce mode de faire lorsque le contribuable n'a indûment pas participé à l'établissement des faits devant l'autorité fiscale, bien qu'il ait été en vain requis d'agir en ce sens. Tel a précisément été le cas en la cause, le recourant ayant joué sur la dualité de personnes entre lui-même et la société qu'il gère et dont son épouse possède l'intégralité du capital social de 20'000 fr., renvoyant même le Tribunal fiscal à demander des pièces à sa propre épouse et à la société pour des contrats concernant ces deux personnes, les deux refusant en définitive de les fournir.
Le grief d'arbitraire dans l'appréciation des preuves et l'établissement des faits doit donc être rejeté.
5. Le recourant excipe de la prescription du droit de taxer s'agissant de la période fiscale 2001.
5.1 Intitulé "Prescription du droit de taxer", l'<ref-law> a la teneur suivante:
"1 Le droit de procéder à la taxation se prescrit par cinq ans à compter de la fin de la période fiscale. Les art. 152 et 184 sont réservés.
2 La prescription ne court pas ou est suspendue:
a. pendant les procédures de réclamation, de recours ou de révision;
b. aussi longtemps que la créance d'impôt est garantie par des sûretés ou que le recouvrement est ajourné;
c. aussi longtemps que le contribuable ou une personne solidairement responsable avec lui du paiement de l'impôt n'a pas de domicile en Suisse ou n'y est pas en séjour.
3 Un nouveau délai de prescription commence à courir:
a. lorsque l'autorité prend une mesure tendant à fixer ou faire valoir la créance d'impôt et en informe le contribuable ou une personne solidairement responsable avec lui du paiement de l'impôt;
b. lorsque le contribuable ou une personne solidairement responsable avec lui reconnaît expressément la dette d'impôt;
c. lorsqu'une demande en remise d'impôt est déposée;
d. lorsqu'une poursuite pénale est introduite ensuite de soustraction d'impôt consommée ou de délit fiscal.
4 La prescription du droit de procéder à la taxation est acquise dans tous les cas quinze ans après la fin de la période fiscale."
L'<ref-law> retient pour sa part que le droit de taxer se prescrit par cinq ans à compter de la fin de la période fiscale; en cas de suspension ou d'interruption de la prescription, celle-ci est acquise dans tous les cas quinze ans après la fin de la période fiscale.
L'art. 186 de la loi neuchâteloise du 21 mars 2000 sur les contributions directes (LCdir; RS/NE 631.0) a la teneur suivante:
"1 Le droit de procéder à la taxation se prescrit par cinq ans à compter de la fin de la période fiscale. Les art. 222 et 259 sont réservés.
2 La prescription ne commence pas à courir ou est suspendue:
a. pendant les procédures de réclamation et de recours;
b. aussi longtemps que la créance d'impôt est garantie par des sûretés ou que le recouvrement est ajourné;
c. aussi longtemps que le contribuable ou une personne solidairement responsable avec lui du paiement de l'impôt n'a pas de domicile en Suisse ou n'y est pas en séjour.
3 Un nouveau délai de prescription commence à courir:
a. lorsque l'autorité prend une mesure tendant à fixer ou faire valoir la créance d'impôt et en informe le contribuable ou une personne solidairement responsable avec lui du paiement de l'impôt;
b. lorsque le contribuable ou une personne solidairement responsable avec lui reconnaît expressément la dette d'impôt;
c. lorsqu'une demande en remise d'impôt est déposée.
4 La prescription du droit de procéder à la taxation est acquise, dans tous les cas, quinze ans après la fin de la période fiscale."
Il ressort de ces normes que la question de la prescription est traitée de la même manière en droit fédéral qu'en droit neuchâtelois.
5.2 Le Tribunal fédéral a précisé que tous les actes officiels tendant à la fixation de la prétention fiscale et portés à la connaissance du contribuable pouvaient interrompre la prescription, aussi bien au sens de l'ancienne législation que de l'<ref-law> (<ref-ruling> consid. 2c p. 3; cf. aussi arrêt 2C_349/2009 du 16 novembre 2009 consid. 3.1). A titre d'exemples, il a mentionné l'envoi de la formule de déclaration d'impôt, la sommation pour la remise de ladite déclaration, l'annonce ou l'accomplissement d'un contrôle des livres (<ref-ruling> consid. 2c p. 3). Il a même ajouté qu'on pouvait y inclure des communications officielles qui n'annoncent qu'une taxation ultérieure et dont le but se limite précisément à interrompre le cours de la prescription (<ref-ruling> consid. 2f p. 4 s.). Il a aussi été admis qu'une simple lettre expédiée par un tribunal administratif et tendant à savoir si une procédure ouverte devant un tribunal civil était arrivée à son terme suffisait à induire un tel effet (arrêt 2C_555/2008 du 5 novembre 2008 consid. 3.3). Le Tribunal fédéral a encore indiqué que des actes ne revêtant pas la forme écrite, comme une télécopie, avaient pour effet d'interrompre la prescription, dès lors que la loi n'exigeait pas la forme écrite (arrêt 2A.546/2001 du 1er mai 2002 consid. 3d et 3e, in RDAF 2002 II p. 392).
5.3 Au vu de ce qui précède, il est certain que les multiples démarches effectuées par l'autorité fiscale, notamment le 13 janvier 2003 (convocation pour examiner la comptabilité de l'activité indépendante des époux et les dépenses professionnelles), le 16 mars 2006 (réquisition d'informations complémentaires concernant le bail à loyer de la société Y._ Sàrl) ont eu pour effet d'interrompre la prescription, de sorte que cette dernière n'était pas atteinte au moment de l'envoi des décisions de taxation au recourant, en mars 2007.
On relèvera toutefois encore deux points: d'une part, contrairement à ce qu'affirme le recourant, l'autorité fiscale n'a aucune obligation d'avertir le contribuable du caractère interruptif de l'acte qu'elle lui a notifié, cet effet se produisant indépendamment de tout acte et de toute manifestation de volonté de son destinataire. D'autre part, le fait qu'un tribunal civil ait préjudiciellement retenu l'existence d'une telle prescription dans le cadre d'une procédure de mainlevée ne lie aucunement l'autorité fiscale.
Les griefs relatifs à la prescription doivent donc être rejetés.
6. Le recourant s'en prend aussi aux frais de justice et aux débours mis à sa charge dans le jugement entrepris. Il se plaint de l'absence de motivation du jugement sur ce point, de la violation du principe de la confiance et du caractère disproportionné de l'émolument en question au regard de l'activité déployée par le Tribunal administratif.
6.1 La décision fixant le montant des dépens alloués à une partie obtenant totalement ou partiellement gain de cause n'a en principe pas à être motivée (arrêt 4P.292/2005 du 3 août 2006 consid. 3.1; arrêt U 85/2004 du 14 mars 2005 consid. 3.2; arrêt 4P.67/2003 du 8 juillet 2003 consid. 6.2 non publié in <ref-ruling>; <ref-ruling> consid. 2a). Lorsqu'il existe un tarif fixant des minima et des maxima, le juge ne motivera sa décision que s'il sort de ces limites ou si des éléments extraordinaires sont invoqués par la partie (arrêt 4P.292/2005, précité, consid. 3.1; arrêt U 85/2004, précité, consid. 3.2; <ref-ruling> consid. 2a).
L'arrêté du Conseil d'Etat neuchâtelois du 22 décembre 2009 concernant le tarif des frais de procédure (entré en vigueur le 1er janvier 2010; RS/NE 164.11), qui est applicable en l'espèce (cf. consid. 7 ci-après), prévoit ce qui suit, s'agissant de la matière administrative:
"Art. 14
1 Devant le Tribunal administratif, le Conseil d'Etat et les autres autorités, en règle générale, l'émolument de décision n'excède pas 6000 francs.
2 Il peut être porté jusqu'à 15.000 francs dans les contestations de nature pécuniaire."
Arrêté à 2'500 fr., l'émolument de justice litigieux se trouve manifestement dans la fourchette arrêtée par le tarif, de sorte que sa fixation n'impliquait aucune obligation de motivation particulière par le Tribunal administratif. Le grief de défaut de motivation doit donc être rejeté.
6.2 Invoquant le principe de la confiance, le recourant fait valoir qu'avant de saisir le Tribunal administratif, il se serait renseigné auprès d'une employée du greffe sur le coût d'une telle procédure. Celle-ci lui aurait affirmé que l'émolument se monterait à 770 fr.
Le principe de la bonne foi, ancré à l'art. 5 al. 3 Cst., vaut pour l'ensemble de l'activité étatique. Il donne au citoyen le droit d'exiger que l'autorité se conforme aux promesses ou assurances qu'elle lui a faites et ne trompe pas la confiance qu'à juste titre il a placée dans celles-ci. Les conditions de ce droit sont les suivantes: a) que l'autorité soit intervenue dans une situation concrète à l'égard de personnes déterminées; b) qu'elle ait agi ou soit censée avoir agi dans les limites de sa compétence; c) que l'administré ait eu de sérieuses raisons de croire à la validité de l'acte selon lequel il a réglé sa conduite; d) qu'il se soit fondé sur l'acte en question pour prendre des dispositions qui ne peuvent être modifiées sans préjudice; e) que la loi n'ait pas changé depuis le moment où l'assurance a été donnée (<ref-ruling> consid. 6.1 p. 636 s. et les références citées).
En l'espèce, le recourant n'a nullement établi avoir obtenu d'une personne compétente l'information selon laquelle le coût de son recours serait limité à 770 fr. Alléguer un tel fait est bien évidemment insuffisant à établir son existence. Pour ce motif déjà, son grief doit être rejeté. En outre, une telle information, pour autant qu'elle ait été donnée, ne pouvait clairement avoir qu'une portée indicative générale et n'était pas propre à lier le Tribunal administratif. Le recours est ainsi mal fondé sur ce point.
6.3 Le recourant estime disproportionnés les émoluments de justice fixés à 2'500 fr. et les débours de 250 fr. Ce faisant, il dénonce une violation du principe d'équivalence.
Faisant partie des contributions causales, les émoluments de justice obéissent au principe de l'équivalence qui veut que leur montant soit en rapport avec la valeur objective de la prestation fournie et reste dans des limites raisonnables (cf. parmi d'autres <ref-ruling> consid. 2a p. 174; arrêts 4P.286/2001 du 12 mars 2002 consid. 2a/aa; 2P.361/1995 du 6 juin 1996 consid. 2b).
Le Tribunal fédéral a déjà à plusieurs reprises pu rappeler que l'activité judiciaire ne s'épuise pas dans la seule rédaction du jugement; la mise en oeuvre de l'administration judiciaire génère en effet toute une série de frais qui, de façon notoire, ne sont nullement couverts par les émoluments de justice (<ref-ruling> consid. 3 p. 175). L'approche du recourant tendant à se fonder sur les seules cinq pages du jugement pour déclarer disproportionné le coût de la justice ainsi rendue est donc erronée. Si l'on se concentre sur la seule activité des trois magistrats et du greffier qui ont concouru à l'établissement de l'arrêt du 16 mars 2010, on ne peut passer sous silence que ces derniers ont dû répondre à une quantité de questions juridiques soulevées par le recourant qui a, de façon frisant à plusieurs endroits la témérité - comme l'a aussi relevé le Tribunal administratif -, fait valoir des arguments auxquels il a très largement fallu répondre. Le fait que l'autorité précédente l'ait fait en se référant à l'arrêt du Tribunal fiscal ne change rien à l'intensité de l'analyse à laquelle elle s'est livrée. Il lui a en effet fallu être en mesure de confirmer l'argumentaire juridique dudit Tribunal, ce qui l'a forcément conduit à vérifier de façon approfondie le raisonnement suivi par ce dernier comme les multiples références juridiques parsemant le jugement du 30 juin 2009. A cela s'ajoute que, dans la mesure où le recourant estimait ne pas pouvoir supporter le coût d'une telle procédure, il lui était loisible de requérir le bénéfice de l'assistance judiciaire, ce qu'il n'a pas fait. En aucun cas l'émolument de 2'500 fr., comme les débours fixés forfaitairement à 250 fr., ne sauraient ainsi être qualifiés de disproportionnés par rapport aux services rendus par le Tribunal administratif, lequel a au demeurant fixé le premier très en-deçà du maximum de 15'000 fr. prévu par l'art. 24 al. 2 de l'arrêté précité. Le grief doit donc être rejeté.
7. Le recourant dénonce la violation du principe de non-rétroactivité. Dans la mesure, toutefois, où il "conteste l'application rétroactive au premier janvier 2010 de l'arrêté du Conseil d'Etat concernant le tarif des frais de procédure du 22 décembre 2009 pour son recours", son grief est peu compréhensible. Il doit de toute manière être rejeté dès lors que l'art. 38 dudit arrêté prévoit son entrée en vigueur au 1er janvier 2010 (al. 1) et son application à toute cause pendante à cette date (al. 2). En tant que recevable, le grief doit donc être rejeté.
8. Dans un dernier grief, le recourant se plaint de violation du principe d'égalité ancré à l'art. 8 Cst. Tel que motivé, le grief n'a toutefois aucune substance et se confond au mieux avec celui tiré d'un prétendu défaut de motivation qui a été rejeté ci-dessus. En tant que recevable, il doit donc également être rejeté.
9. Au vu de ce qui précède, le recours est rejeté dans la mesure où il est recevable, avec suite de frais à la charge du recourant (cf. <ref-law>). Il n'est pas alloué de dépens (cf. art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au recourant, au Service des contributions, au Tribunal fiscal et à la Cour de droit public du Tribunal administratif du canton de Neuchâtel, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 19 novembre 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Zünd Vianin