Faits : A. X._ a obtenu une bourse pour chercheur débutant du Fonds national suisse de la recherche scientifique (ci-après: FNS) d'un montant de 21'350 fr. pour une durée de 6 mois. Il a ainsi séjourné à l'étranger du 1er janvier au 30 juin 2011 auprès d'une institution internationale afin de rédiger sa thèse de doctorat. Le 13 décembre 2012, dans des décisions de taxation relatives à l'impôt fédéral direct (ci-après: IFD) et aux impôts cantonal et communal (ci-après: ICC) pour la période 2011, le Service des contributions de la République et canton de Neuchâtel (ci-après: Service des contributions) a ajouté au revenu déclaré par l'intéressé le montant de la bourse précitée. Il a également tenu compte de frais d'acquisition du revenu de 10'245 fr. pour les dépenses professionnelles concernant le séjour à l'étranger. Par décision du 7 février 2013, le Service des contributions a rejeté les réclamations élevées par l'intéressé à l'encontre des décisions du 13 décembre 2012. Il a en substance retenu que le montant de la bourse devait être exclu de l'exonération prévue aux art. 24 let. d de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et 27 let. d de la loi neuchâteloise du 21 mars 2000 sur les contributions directes (LCdir; RSN 631.0), en raison du défaut de gratuité de la bourse. L'intéressé a contesté ce prononcé devant le Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public (ci-après: Tribunal cantonal). B. Par arrêt du 10 décembre 2013, le Tribunal cantonal a rejeté le recours de X._. Il a considéré, en se fondant en particulier sur le règlement du Fonds national suisse du 14 décembre 2007 relatif aux octrois de subsides (ci-après: règlement des subsides), que le bénéficiaire de la bourse du FNS devait, en contrepartie des fonds qui lui sont versés, adopter un comportement prescrit, soit mener à bien une recherche ou poursuivre le projet pour lequel il recevait le soutien financier. Par conséquent, il existait un lien étroit entre la contribution et la prestation qui doit être délivrée, ce qui excluait le caractère gratuit du subside nécessaire à l'exonération de celui-ci au sens des art. 24 let. d LIFD, 7 al. 4 let. f de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; loi sur l'harmonisation fiscale; RS 642.14) et 27 let. d LCdir. Le Tribunal cantonal a donc retenu que la bourse perçue par l'intéressé était imposable au titre du revenu. C. Agissant par la voie du recours en matière de droit public, X._ demande en substance au Tribunal fédéral, sous suite de frais et dépens, de constater que le montant de la bourse pour chercheur débutant du FNS n'est pas un revenu imposable, d'annuler l'arrêt du 10 décembre 2013 du Tribunal cantonal et de renvoyer la cause à l'autorité fiscale pour que celle-ci détermine le revenu imposable aussi bien en matière d'IFD que d'ICC. Il se plaint de violations de la Constitution, de la loi sur l'harmonisation fiscale et de la loi sur l'impôt fédéral direct. Il estime que la bourse qu'il a reçue du FNS constitue un subside exonéré au sens des art. 24 let. d LIFD, 7 al. 4 let. f LHID et 27 let. d LCdir. Alternativement, il fait valoir que cette bourse doit être considérée comme un défraiement de dépenses similaires au remboursement de frais qu'un employé pourrait recevoir de son employeur. Encore plus alternativement, il estime devoir bénéficier de la théorie de la confiance et être traité selon les indications qu'il a reçues du FNS. Le Tribunal cantonal, le Service des contributions et l'Administration fédérale des contributions ont tous trois conclu au rejet du recours. Le recourant a implicitement confirmé ses conclusions dans des observations finales.