Faits :
A.
Pour les années fiscales 2011, 2012 et 2013, A._ n'a pas déposé de déclaration d'impôt dans les délais impartis et a été taxé d'office par décisions des 6 décembre 2012, 21 novembre 2013 et 12 février 2015.
A la suite du dépôt par le contribuable, le 2 avril 2015, des déclarations d'impôt 2011 à 2013, le Service des contributions de la République et canton de Neuchâtel (ci-après: le Service cantonal) a ouvert, le 25 juillet 2018, une procédure en rappel d'impôt pour les périodes fiscales en question, fondée notamment sur la constatation d'un revenu de l'activité dépendante principale plus élevé que celui retenu dans les taxations d'office.
B.
Le 26 juin 2019, le Service cantonal a rendu une décision de rappel d'impôt concernant l'impôt fédéral direct (ci-après: IFD) 2011 à 2013 et une décision de rappel d'impôt concernant les impôts cantonal et communal (ci-après: ICC) 2011 à 2013. Les compléments d'impôts dus à teneur de ces décisions se montaient respectivement à un total de 2'898.95 fr. (IFD) et 17'370 fr. (ICC). Le 19 septembre 2019, le Service cantonal a rejeté la réclamation formée par A._ à l'encontre des décisions de rappel d'impôt du 26 juin 2019.
Saisi d'un recours contre la décision sur réclamation du 19 septembre 2019, la Cour de droit public du Tribunal cantonal du canton de Neuchâtel (ci-après: le Tribunal cantonal) l'a rejeté le 5 mars 2020. Les juges cantonaux ont retenu, en substance, tant pour l'IFD que l'ICC, que les conditions pour l'ouverture d'une procédure en rappel d'impôt étaient remplies et que les reprises effectuées dans les périodes fiscales 2011 à 2013, calculées en fonction de l'augmentation du revenu de l'activité dépendante principale et des déductions y relatives, étaient justifiées. Le Tribunal cantonal a par ailleurs relevé que A._ n'avait pas contesté dans les délais les décisions de taxation d'office pour les années fiscales 2011 à 2013, qu'il n'avait pas demandé en temps utile la révision de ces décisions et qu'il ne pouvait donc pas revenir librement sur sa taxation dans la procédure de rappel d'impôt. Finalement, l'autorité précédente a écarté les griefs du contribuable relatifs au droit d'être entendu et aux dispositions sur la récusation et a constaté que certaines critiques formulées par l'intéressé (taxation de feu sa mère, plainte pénale à l'encontre des fonctionnaires du Service cantonal, etc.) avaient trait à des questions qui sortaient de l'objet du litige.
C.
A l'encontre de l'arrêt du 5 mars 2020, A._ dépose un "recours" auprès du Tribunal fédéral. Il conclut (implicitement) à l'annulation de l'arrêt entrepris et au renvoi de la cause au Service cantonal pour nouvelle taxation.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit :
1.
Le Tribunal cantonal a rendu un seul arrêt valant tant pour l'ICC que pour l'IFD du recourant, ce qui est en principe admissible, dès lors qu'il ressort clairement dudit arrêt et du recours que le litige porte sur les deux catégories d'impôts (arrêt 2C_444/2018 du 31 mai 2019 consid. 1).
2.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 116).
2.1. Le recourant a déclaré former un "recours" auprès du Tribunal fédéral. Cette désignation imprécise ne saurait lui nuire à condition que le recours remplisse les exigences légales de la voie de droit qui lui est ouverte (<ref-ruling> consid. 1.1 p. 370).
2.2. L'arrêt attaqué est une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF), dans une cause de droit public (<ref-law>) qui ne tombe pas sous le coup des exceptions de l'<ref-law>. La voie du recours en matière de droit public est donc ouverte (cf. également les art. 146 de la loi fédérale sur l'impôt fédéral direct du 14 décembre 1990 [LIFD; RS 642.11] et 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]).
2.3. Pour le surplus, le recours a été interjeté en temps utile (<ref-law>) et remplit - bien que dans une faible mesure - les exigences de forme requises par la loi (<ref-law>). Il a été déposé par le destinataire de l'arrêt entrepris qui a un intérêt digne de protection à son annulation ou à sa modification et a partant la qualité pour recourir (<ref-law>). Il sera donc entré en matière, mais partiellement (cf. infra consid. 3.2).
2.4. Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>). Dans la mesure où elles ne ressortiraient pas du dossier cantonal, les pièces accompagnant le recours ne seront pas prises en considération.
3.
3.1. D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Il examine en principe librement l'application du droit fédéral ainsi que la conformité du droit cantonal harmonisé et de sa mise en pratique par les instances cantonales aux dispositions de la LHID (arrêts 2C_444/2018 du 31 mai 2019 consid. 3.2 et 2C_797/2017 du 19 mars 2018 consid. 2).
Conformément à l'<ref-law> et en dérogation à l'<ref-law>, le Tribunal fédéral n'examine la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal que si ce grief a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (arrêt 2C_869/2017 du 7 août 2018 consid. 2.1). Il en va de même lorsque la loi sur l'harmonisation fiscale laisse une certaine marge de manoeuvre aux cantons ou lorsque l'on est en présence d'impôts purement cantonaux, l'examen de l'interprétation du droit cantonal étant alors limité à l'arbitraire (arrêt 2C_258/2017 du 2 juillet 2018 consid. 3, non publié in <ref-ruling>; cf. <ref-ruling> consid. 2 p. 209 s.).
3.2. Tel qu'il est structuré et rédigé, l'acte de recours ne permet pas toujours de cerner clairement les griefs soulevés par le contribuable à l'encontre de l'arrêt entrepris. Partant, l'examen du recours se limitera aux griefs qui ont été désignés et motivés de façon suffisamment compréhensible (cf. arrêt 2C_32/2016 du 24 novembre 2016 consid. 1.2). Par ailleurs, la présente procédure ne porte que sur les décisions de rappel d'impôt IFD et ICC prononcées à l'encontre du contribuable pour les années fiscales 2011 à 2013, confirmées en dernière instance cantonale par arrêt du 5 mars 2020. Les critiques formulées par le recourant concernant d'autres décisions ou procédures (taxation de feu sa mère, procédure pénale pour soustraction d'impôt, etc.) sortent donc du cadre de l'objet du litige et ne peuvent ainsi pas être examinées.
I. Impôt fédéral direct
4.
Le recourant conteste (du moins implicitement) la réalisation des conditions du rappel d'impôt.
4.1. Aux termes de l'<ref-law>, lorsque des moyens de preuve ou des faits jusque-là inconnus de l'autorité fiscale lui permettent d'établir qu'une taxation n'a pas été effectuée, alors qu'elle aurait dû l'être, ou qu'une taxation entrée en force est incomplète ou qu'une taxation non effectuée ou incomplète est due à un crime ou à un délit commis contre l'autorité fiscale, cette dernière procède au rappel de l'impôt qui n'a pas été perçu, y compris les intérêts.
Le rappel d'impôt est le pendant, en faveur du fisc, de la révision en faveur du contribuable. Cette procédure porte sur la perception d'impôts qui n'ont pas pu être prélevés par l'administration cantonale au cours de la taxation ordinaire. Le rappel d'impôt n'est soumis qu'à des conditions objectives: il implique qu'une taxation n'a, à tort, pas été établie ou est restée incomplète, de sorte que la collectivité publique a subi une perte fiscale; il suppose aussi l'existence d'un motif de rappel. Ce motif peut résider dans la découverte de faits ou de moyens de preuve inconnus jusque-là, soit des faits ou moyens de preuve qui ne ressortaient pas du dossier dont disposait l'autorité fiscale au moment de la taxation (<ref-ruling> consid. 4.5.1 p. 364 et les arrêts cités). Dans ce contexte, les moyens que le contribuable peut faire valoir pour remettre en question la taxation sont limités (cf. arrêt 2C_263/2018 du 11 février 2019 consid. 3.1 et les références citées).
4.2. En l'espèce, il ressort de l'arrêt entrepris que les revenus effectifs de l'activité dépendante principale du contribuable n'ont été découverts par le Service cantonal qu'à la suite du dépôt (tardif) par l'intéressé, le 2 avril 2015, de ses déclarations d'impôts 2011 à 2013. A ce moment-là, les taxations (d'office) pour les années fiscales en question étaient déjà entrées en force. En outre, elles étaient incomplètes, en ce sens qu'elles étaient fondées sur des revenus de l'activité dépendante principale inférieurs aux revenus effectivement touchés par le recourant. Dans ces circonstances, c'est à juste titre que le Tribunal cantonal a considéré que les conditions posées par l'<ref-law> étaient remplies.
5.
Le recourant se plaint ensuite du fait que les règles sur la procédure de révision qui auraient permis de revenir sur ses taxations d'office n'ont pas été appliquées à son cas. Le Tribunal cantonal, en refusant de lui "accorder une révision de taxation" (recours, p. 5) et en confirmant les rappels d'impôt litigieux, aurait pris une décision fondée sur "un point de vue très arbitraire" (recours, p. 5), qui devrait être annulée.
5.1. Selon l'<ref-law>, une décision ou un prononcé entré en force peut être révisé en faveur du contribuable, à sa demande ou d'office, lorsque des faits importants ou des preuves concluantes sont découverts (let. a), lorsque l'autorité qui a statué n'a pas tenu compte de faits importants ou de preuves concluantes qu'elle connaissait ou devait connaître ou qu'elle a violé de quelque autre manière l'une des règles essentielles de la procédure (let. b), ou lorsqu'un crime ou un délit a influé sur la décision ou le prononcé (let. c). Aux termes de l'<ref-law>, la révision est exclue lorsque le requérant a invoqué des motifs qu'il aurait déjà pu faire valoir au cours de la procédure ordinaire s'il avait fait preuve de toute la diligence qui pouvait raisonnablement être exigée de lui. En outre, d'après l'<ref-law>, la demande de révision doit être déposée dans les 90 jours qui suivent la découverte du motif de révision, mais au plus tard dans les dix ans qui suivent la notification de la décision ou du prononcé.
5.2. En l'espèce, il ressort des faits retenus dans l'arrêt attaqué que la requête de révision du recourant à l'encontre de ses taxations d'office était fondée sur ses certificats de salaire pour les années 2011 à 2013 et que l'intéressé n'avait pas déposé de demande de révision dans les nonante jours suivant la réception de ceux-ci (cf. arrêt entrepris, p. 13). C'est donc sans violer le droit fédéral que l'autorité précédente a considéré que sa requête était de toute manière tardive sous l'angle de l'<ref-law>.
6.
Le recourant invoque encore le droit à l'égalité de traitement (recours, p. 3 s.), la violation des "garanties constitutionnelles du droit à des conditions de vie décentes" (recours, p. 2), ainsi qu'une "atteinte aux droits constitutionnels de décence des conditions de vie" (recours, p. 5), sans toutefois que l'on puisse discerner dans son raisonnement un grief conforme aux exigences de motivation accrues posées par l'<ref-law> s'agissant de la la violation de droits fondamentaux (cf. supra consid. 3.1). Ces critiques n'ont donc pas à être examinées plus avant.
7.
Il ressort de ce qui précède que le recours doit être rejeté dans la mesure de sa recevabilité s'agissant de l'impôt fédéral direct pour les périodes fiscales 2011 à 2013.
II. Impôt cantonal et communal
8.
La jurisprudence rendue en matière d'impôt fédéral direct est également valable pour l'application des dispositions cantonales harmonisées correspondantes (<ref-ruling> consid. 10 p. 101; arrêt 2C_896/2018 du 29 août 2018 consid. 6). Il peut ainsi être renvoyé s'agissant de l'impôt cantonal et communal à la motivation développée en matière d'impôt fédéral direct. Le recours doit par conséquent aussi être rejeté dans la mesure de sa recevabilité s'agissant de l'impôt cantonal et communal pour les périodes fiscales 2011 à 2013.
9.
En résumé, le recours doit être rejeté dans la mesure où il est recevable tant en ce qui concerne l'IFD 2011 à 2013 que l'ICC 2011 à 2013. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'y a pas lieu d'allouer des dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable en ce qui concerne l'impôt fédéral direct 2011 à 2013.
2.
Le recours est rejeté dans la mesure où il est recevable en ce qui concerne l'impôt cantonal et communal 2011 à 2013.
3.
Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au recourant, au Service des contributions de la République et canton de Neuchâtel, au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, ainsi qu'à l'Administration fédérale des contributions.
Lausanne, le 19 juin 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Ermotti