Faits :
A.
X._ a obtenu une bourse pour chercheur débutant du Fonds national suisse de la recherche scientifique (ci-après: FNS) d'un montant de 21'350 fr. pour une durée de 6 mois. Il a ainsi séjourné à l'étranger du 1er janvier au 30 juin 2011 auprès d'une institution internationale afin de rédiger sa thèse de doctorat.
Le 13 décembre 2012, dans des décisions de taxation relatives à l'impôt fédéral direct (ci-après: IFD) et aux impôts cantonal et communal (ci-après: ICC) pour la période 2011, le Service des contributions de la République et canton de Neuchâtel (ci-après: Service des contributions) a ajouté au revenu déclaré par l'intéressé le montant de la bourse précitée. Il a également tenu compte de frais d'acquisition du revenu de 10'245 fr. pour les dépenses professionnelles concernant le séjour à l'étranger.
Par décision du 7 février 2013, le Service des contributions a rejeté les réclamations élevées par l'intéressé à l'encontre des décisions du 13 décembre 2012. Il a en substance retenu que le montant de la bourse devait être exclu de l'exonération prévue aux art. 24 let. d de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11) et 27 let. d de la loi neuchâteloise du 21 mars 2000 sur les contributions directes (LCdir; RSN 631.0), en raison du défaut de gratuité de la bourse.
L'intéressé a contesté ce prononcé devant le Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public (ci-après: Tribunal cantonal).
B.
Par arrêt du 10 décembre 2013, le Tribunal cantonal a rejeté le recours de X._. Il a considéré, en se fondant en particulier sur le règlement du Fonds national suisse du 14 décembre 2007 relatif aux octrois de subsides (ci-après: règlement des subsides), que le bénéficiaire de la bourse du FNS devait, en contrepartie des fonds qui lui sont versés, adopter un comportement prescrit, soit mener à bien une recherche ou poursuivre le projet pour lequel il recevait le soutien financier. Par conséquent, il existait un lien étroit entre la contribution et la prestation qui doit être délivrée, ce qui excluait le caractère gratuit du subside nécessaire à l'exonération de celui-ci au sens des art. 24 let. d LIFD, 7 al. 4 let. f de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes (LHID; loi sur l'harmonisation fiscale; RS 642.14) et 27 let. d LCdir. Le Tribunal cantonal a donc retenu que la bourse perçue par l'intéressé était imposable au titre du revenu.
C.
Agissant par la voie du recours en matière de droit public, X._ demande en substance au Tribunal fédéral, sous suite de frais et dépens, de constater que le montant de la bourse pour chercheur débutant du FNS n'est pas un revenu imposable, d'annuler l'arrêt du 10 décembre 2013 du Tribunal cantonal et de renvoyer la cause à l'autorité fiscale pour que celle-ci détermine le revenu imposable aussi bien en matière d'IFD que d'ICC. Il se plaint de violations de la Constitution, de la loi sur l'harmonisation fiscale et de la loi sur l'impôt fédéral direct. Il estime que la bourse qu'il a reçue du FNS constitue un subside exonéré au sens des art. 24 let. d LIFD, 7 al. 4 let. f LHID et 27 let. d LCdir. Alternativement, il fait valoir que cette bourse doit être considérée comme un défraiement de dépenses similaires au remboursement de frais qu'un employé pourrait recevoir de son employeur. Encore plus alternativement, il estime devoir bénéficier de la théorie de la confiance et être traité selon les indications qu'il a reçues du FNS.
Le Tribunal cantonal, le Service des contributions et l'Administration fédérale des contributions ont tous trois conclu au rejet du recours. Le recourant a implicitement confirmé ses conclusions dans des observations finales.

Considérant en droit :
1.
Le Tribunal cantonal a rendu un seul arrêt valant pour les deux catégories d'impôts (ICC et IFD), ce qui est admissible, dès lors que la question juridique à trancher est réglée de la même façon en droit fédéral et dans le droit cantonal harmonisé (cf. <ref-ruling> consid. 1.3.1 p. 262 s.). Dans ces circonstances, on ne peut reprocher au recourant d'avoir formé les mêmes griefs et pris des conclusions valant pour les deux catégories d'impôts dans son recours devant le Tribunal fédéral (cf. <ref-ruling> consid. 1.3.3 p. 264). Par souci d'unification par rapport aux cantons dans lesquels deux décisions sont rendues, la Cour de céans a toutefois ouvert deux dossiers, l'un concernant l'ICC (2C_74/2014), l'autre l'IFD (2C_78/2014). Comme l'état de fait est identique et que les questions juridiques se recoupent, les deux causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. <ref-law> et 24 de la loi de procédure civile fédérale du 4 décembre 1947 [PCF; RS 273]).
2.
2.1. Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 44).
2.2. Le recours est dirigé contre une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) ne tombant pas sous le coup de l'une des exceptions prévues à l'<ref-law>. La voie du recours en matière de droit public est partant ouverte. Les lois fiscales applicables confirment cette voie de droit: pour l'IFD, à l'<ref-law> et, pour l'ICC, à l'<ref-law>, dès lors que le recours concerne l'exonération de subsides du revenu imposable de personnes physiques, soit une matière harmonisée figurant à l'art. 7 al. 4 let. f LHID. Le recours a en outre été déposé en temps utile (art. 46 al. 1 let. c et 100 al. 1 LTF) et dans les formes requises (<ref-law>) par le contribuable destinataire de l'acte attaqué, de sorte qu'il est en principe recevable, sous réserve de ce qui suit.
2.3. Selon un principe général de procédure, les conclusions en constatation de droit ne sont recevables que lorsque des conclusions condamnatoires ou formatrices sont exclues. Sauf situations particulières, les conclusions constatatoires ont donc un caractère subsidiaire (cf. <ref-ruling> consid. 4 p. 122; arrêt 2C_199/2010 et 2C_202/2010 du 12 avril 2011 consid. 3.3 non publié in <ref-ruling>; arrêt 1B_129/2013 du 26 juin 2013 consid. 2.2). Dans la mesure où le recourant conclut, parallèlement à l'annulation de l'arrêt du 10 décembre 2013 du Tribunal cantonal et au renvoi de la cause à l'autorité fiscale cantonale, à la constatation "que le montant de la bourse pour chercheur débutant du FNS n'est pas un revenu imposable et qu'il convient ainsi de recalculer l'impôt fédéral, cantonal et communal 2011", il formule une conclusion constatatoire qui est irrecevable.
2.4. Dans la mesure où il demande le renvoi de la cause au Service des contributions pour nouvelle décision, ses conclusions ont un caractère réformatoire. Le Tribunal fédéral a toutefois jugé que de telles conclusions sont recevables, car l'<ref-law> doit céder le pas devant l'<ref-law>, qui confère au Tribunal fédéral un pouvoir général de réforme quel que soit le recours interjeté devant lui (cf. <ref-ruling> consid. 1 p. 209).
2.5. Aucun fait nouveau ni preuve nouvelle ne peut être présenté (cf. <ref-law>). La prise de position du FNS, non datée, mais rédigée à l'attention du Tribunal fédéral et produit à l'appui des observations finales du recourant, est un moyen de preuve nouveau et par conséquent irrecevable.
I. Impôt fédéral direct
3.
Le recourant se plaint d'une violation de l'art. 24 let. d LIFD. Il estime que la bourse que lui a versé le FNS est un subside exonéré.
3.1. L'art. 24 let. d LIFD prévoit que sont exonérés de l'impôt les subsides provenant de fonds publics ou privés.
De manière générale, toute exception à l'impôt général doit être interprétée restrictivement (cf. <ref-ruling> consid. 5.1 p. 335; <ref-ruling> consid. 3.3 p. 6 s.). La jurisprudence s'est déjà prononcée sur l'application de l'art. 24 let. d LIFD. Dans une affaire traitant de l'exonération de sommes reçues à bien plaire, par un contribuable, de la fondation patronale de son ancien employeur, le Tribunal fédéral a fixé des critères justifiant l'application de l'art. 24 let. d LIFD. Il faut, pour que l'exonération soit applicable, que le bénéficiaire se trouve dans une situation de gêne (critère du besoin), que l'entité de droit public ou privé qui verse des prestations au bénéficiaire y procède dans le but de lui venir en aide (critère de l'assistance) et, enfin, que le versement ait un caractère désintéressé et non onéreux, soit l'absence de contre-prestation ou de contrepartie exigée de la part du bénéficiaire (critère de la gratuité; <ref-ruling> consid. 4.3 p. 332).
Dans un autre arrêt, le Tribunal fédéral a refusé l'exonération des fonds versés par le FNS pour la recherche scientifique ou les prix récompensant un travail, au motif que leurs bénéficiaires doivent en contrepartie réaliser l'étude ou la recherche pour laquelle ils ont sollicité des fonds ou, dans le cas des prix, ont produit un ouvrage dont la récompense décernée constitue une forme de rémunération a posteriori (arrêt 2C_715/2007 du 28 avril 2008 consid. 2, in RDAF 2008 II 364); bénéficient en revanche de l'exonération de l'art. 24 let. d LIFD les bourses d'étude non sujettes à contre-prestation, qui ont le caractère de soutien social aux familles modestes pour ceux de leurs membres engagés dans des études (arrêt 2C_715/2007 précité, ibidem).
3.2. Au vu des principes posés ci-dessus, il convient de vérifier si la prestation unique versée au recourant répond aux critères cumulatifs du besoin, de l'assistance et de la gratuité. Le Tribunal cantonal s'est limité à exclure le critère de la gratuité. Le Tribunal fédéral va donc commencer par examiner si c'est à juste titre que l'instance précédente a procédé de la sorte.
Le FNS alloue des subsides pour la promotion de la recherche scientifique (art. 1 al. 1 du règlement des subsides). Le chapitre 5 du règlement des subsides traite des droits et devoirs des bénéficiaires de subsides. En particulier, les bénéficiaires sont tenus d'utiliser le subside accordé conformément aux conditions de la décision et de respecter les dispositions du règlement des subsides ainsi que toutes les autres prescriptions applicables au subside (art. 32 al. 2 du règlement des subsides). Ils peuvent être contraints de livrer des résumés de leur projet de recherche et de ses résultats (art. 33 al. 2 du règlement des subsides). Dans tous les cas, les bénéficiaires de subsides sont tenus de rendre des rapports périodiques conformément aux exigences du Conseil national de la recherche (art. 40 al. 1 du règlement des subsides). Au cours du projet de recherche et une fois celui-ci achevé, les bénéficiaires de subsides doivent rendre public de manière appropriée les informations concernant les projets soutenus grâce au FNS et les résultats de recherche, en mentionnant son soutien (art. 44 al. 1 du règlement des subsides). Ils doivent rendre au FNS l'éventuel solde positif (art. 41 al. 1 2 e phrase du règlement des subsides). Finalement, le FNS sanctionne l'utilisation abusive de ses subsides et les infractions commises contre le règlement des subsides ou d'autres dispositions applicables à la remise des requêtes ou au subside (art. 45 al. 1 du règlement des subsides).
On constate ainsi, à l'instar des juges cantonaux, que l'octroi du subside, par le FNS, est soumis à un nombre important de conditions qui font obstacle à le qualifier de "gratuit". Le montant de la bourse ne tombe ainsi nullement dans le champ d'application de l'art. 24 let. d LIFD. Le recours doit être rejeté sur ce point.
3.3. Le recourant estime que le montant reçu du FNS doit être considéré comme un remboursement de frais qu'un employeur pourrait payer à son employé. Il n'indique cependant pas sur quelle base légale il fonde son argumentation. Il n'explique pas plus en quoi cela devrait être possible alors que, comme il l'indique, il n'existe pas de contrat de travail entre lui et le FNS. Le recourant perd par ailleurs de vue que les dépenses effectives et nécessaires pour son activité à l'étranger ont été déduites de son revenu par le Service des contributions. Ce grief doit être rejeté.
3.4. Finalement, le recourant invoque une violation de la protection de la bonne foi en ce que le FNS lui aurait donné un renseignement erroné quant à l'exonération de sa bourse.
Découlant directement de l'art. 9 Cst. et valant pour l'ensemble de l'activité étatique, le principe de la bonne foi protège le citoyen dans la confiance légitime qu'il met dans les assurances reçues des autorités, lorsqu'il a réglé sa conduite d'après des décisions, des déclarations ou un comportement déterminé de l'administration (<ref-ruling> consid. 6.1 p. 636 s.; <ref-ruling> consid. 4.1 p. 170; <ref-ruling> consid. 10b/aa p. 125). Pour que le citoyen puisse invoquer cette protection, il faut que l'autorité qui a donné son assurance ait été compétente pour le faire, ou que le citoyen ait pu la considérer comme telle (<ref-ruling> consid. 3a p. 35 s.). En l'occurrence, le FNS, qui n'est pas une autorité de taxation, n'est pas compétent pour donner des informations quant à une éventuelle exonération des bourses qu'il octroie. Ce grief doit donc être rejeté.
3.5. Le recours doit ainsi être rejeté en ce qu'il concerne l'impôt fédéral direct.
II. Impôts cantonal et communal
4.
Dans le cadre du droit fiscal harmonisé qui régit l'imposition directe aux niveaux fédéral, cantonal et communal (cf. consid. 1 ci-dessus), la notion d'exonération correspond aux concepts employés par la LIFD. L'art. 7 al. 4 let. f LHID et 27 let. d LCdir exonèrent de l'impôt les subsides (d'assistance) qui proviennent de fonds publics ou privés. Partant, les considérations développées pour l'IFD s'appliquent également à l'ICC. En refusant d'exonérer le revenu perçu par le contribuable, les autorités cantonales n'ont donc pas violé le droit fiscal harmonisé et le recours doit par conséquent également être rejeté en ce qu'il concerne les impôts cantonal et communal.
5.
Dans ces conditions, le recours doit être rejeté, dans la mesure où il est recevable. Succombant en tous points, le recourant doit supporter les frais judiciaires (art. 65 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_74/2014 et 2C_78/2014 sont jointes.
2.
Le recours est rejeté, dans la mesure où il est recevable, en tant qu'il concerne l'impôt fédéral direct.
3.
Le recours est rejeté, dans la mesure où il est recevable, en tant qu'il concerne l'impôt cantonal et communal.
4.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
5.
Le présent arrêt est communiqué au mandataire du recourant, au Service des contributions et au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, ainsi qu'à l'Administration fédérale des contributions, Division principale de l'impôt fédéral direct.
Lausanne, le 26 mai 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Le Greffier :
Zünd Tissot-Daguette