Faits :
A.
A._, né en 1945, et B._, née en 1948, ont habité depuis 1980 une villa sise à C._. Le 31 août 2004, A._ a annoncé son départ au contrôle des habitants de C._ pour la commune de D._ dans le canton de Zoug.
Par décision du 13 novembre 2007, le Service des contributions de la République et canton de Neuchâtel (ci-après: le Service des contributions) a considéré que les époux étaient imposables de manière illimitée dans le canton de Neuchâtel pour la période fiscale 2004 et les suivantes. La réclamation de A._ contre cette décision a été rejetée le 6 février 2008.
Saisi d'un recours contre cette décision, le Tribunal fiscal du canton de la République et canton de Neuchâtel (ci-après: le Tribunal fiscal) a confirmé, par arrêt du 26 avril 2010, que l'intéressé avait conservé son domicile fiscal dans le canton de Neuchâtel pour les périodes fiscales 2005, 2006 et 2007. Pour la période fiscale 2008 en revanche, son domicile fiscal se trouvait dans le canton de Zoug. A._ a déposé un recours contre cet arrêt auprès de la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel (ci-après: le Tribunal cantonal), qui l'a rejeté le 16 août 2011.
Par arrêt du 14 mars 2012 (cause 2C_753/2011), le Tribunal fédéral a partiellement admis le recours déposé par l'intéressé à l'encontre de cet arrêt. Il a confirmé que le recourant avait conservé son domicile fiscal dans le canton de Neuchâtel pour les périodes fiscales 2005 à 2007. Il a toutefois renvoyé la cause à l'instance inférieure pour instruction complémentaire et nouvelle décision sur la question de savoir si les époux devaient faire l'objet d'une taxation commune ou d'une taxation séparée.
Statuant à nouveau le 27 juin 2012, le Tribunal cantonal a rejeté le recours dans la mesure où il était recevable. Cet arrêt est entré en force.
B.
Le Service des contributions a imparti à A._ un délai au 18 mars 2013 afin qu'il dépose ses déclarations d'impôt pour les années 2005 à 2007. Le 17 avril 2013, compte tenu de l'inaction du contribuable, le Service des contributions a procédé à des rappels et des sommations, sous menace de taxations d'office et d'amendes d'ordre. Le 26 avril 2013, A._ a retourné, sans les remplir, les déclarations d'impôt 2005 à 2007 au Service des contributions, en faisant valoir qu'il était domicilié à Zoug depuis 2004, que les impôts 2005 à 2007 dans le canton de Neuchâtel n'étaient pas dus et qu'ils étaient prescrits.
Par décision du 23 mai 2013, le Service des contributions a notifié à A._ des taxations d'office pour l'impôt direct cantonal et communal des années 2005 à 2007, assorties d'amendes d'ordre et de frais de rappel. Le 6 juin 2013, il lui a en outre notifié des taxations d'office pour l'impôt fédéral direct des années 2005 à 2007, assorties d'amendes d'ordre.
Le 13 juin 2013, A._ a élevé réclamation à l'encontre des taxations d'office pour l'impôt cantonal et communal 2005, 2006 et 2007, invoquant notamment la prescription. Il a indiqué en outre qu'il n'avait plus de domicile fiscal dans le canton de Neuchâtel depuis 2004. A supposer qu'il fût domicilié dans ce canton durant les années litigieuses, il aurait dû faire l'objet d'une taxation commune et non d'une taxation séparée. L'intéressé a également contesté les frais de rappels, les amendes d'ordre, les intérêts compensatoires ainsi que les montants réclamés à titre d'impôt cantonal et communal. Par courriers des 20 juin et 3 juillet 2013, A._ a élevé réclamation à l'encontre des taxations d'office pour l'impôt fédéral direct 2005, 2006 et 2007, en contestant à nouveau les amendes d'ordre et les montants réclamés à titre d'impôt. Invoquant la prescription, l'intéressé a rappelé qu'il n'avait plus de domicile fiscal dans le canton de Neuchâtel depuis 2004.
Par décision du 23 juin 2014, le Service des contributions a déclaré les réclamations irrecevables pour défaut de motivation. Saisi d'un recours du contribuable, le Tribunal cantonal l'a rejeté par arrêt du 4 mai 2015.
C.
A l'encontre de cet arrêt, A._ forme un recours en matière de droit public auprès du Tribunal fédéral. Il conclut, avec suite de frais et dépens, à ce que le Tribunal fédéral annule l'arrêt du 4 mai 2015 du Tribunal cantonal, constate que les réclamations des 13 juin et 3 juillet 2013 sont recevables et ordonne au Tribunal cantonal de statuer sur le fond. Il demande également au Tribunal fédéral d'ordonner au Service des contributions de reprendre intégralement son dossier pour nouvelles décisions et d'annuler les décisions de taxation pour les périodes fiscales 2005, 2006 et 2007. Il conclut enfin à ce que le Tribunal fédéral constate qu'il ne doit pas être assujetti depuis le 1er septembre 2014 (recte: 2004) dans le canton de Neuchâtel.
Par ordonnance du 29 juin 2015, le Président de la IIe Cour de droit public a accordé l'effet suspensif au recours en tant qu'il n'est pas devenu sans objet.
Le Service des contributions propose le rejet du recours. Invitée à se déterminer, l'Administration fédérale des contributions renonce à formuler des observations et s'en remet à justice. Le Tribunal cantonal se réfère aux motifs de l'arrêt entrepris et conclut au rejet du recours. Par courrier du 22 juin 2015, A._ a produit une nouvelle pièce.

Considérant en droit :
1.
1.1. Le Tribunal fédéral examine d'office sa compétence et contrôle librement la recevabilité des recours qui lui sont soumis (cf. <ref-law>; <ref-ruling> consid. 1 p. 116).
1.2. L'arrêt attaqué concerne la taxation d'office de l'impôt fédéral direct et de l'impôt cantonal et communal pour les périodes fiscales 2005 à 2007. Le Tribunal cantonal a rendu un seul arrêt pour les deux catégories d'impôts, ce qui est admissible lorsque la question juridique à trancher est réglée de la même façon en droit fédéral et dans le droit cantonal harmonisé (cf. <ref-ruling> consid. 1.3.1 p. 262 s.). Le recours n'indique cependant pas s'il porte sur l'impôt fédéral direct ou sur les impôts cantonal et communal. Le recourant ne cite à aucun moment une base légale relative à l'une de ces catégories d'impôt. Cependant, dans la mesure où le recourant demande au Tribunal fédéral de constater que les réclamations du 13 juin 2013 (concernant l'ICC) et du 3 juillet 2013 (concernant l'IFD) sont recevables, on peut comprendre qu'il conteste la décision cantonale en tant qu'elle traite des deux catégories d'impôt. Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a donc ouvert deux dossiers, l'un concernant les impôts cantonal et communal (2C_509/2015) et l'autre l'impôt fédéral direct (2C_510/2015). Comme l'état de fait est similaire et que les questions juridiques se recoupent, les deux causes seront jointes et il sera statué dans un seul arrêt (cf. <ref-law> et 24 PCF [RS 273]; arrêt 2C_416/2013 du 5 novembre 2013 consid. 1, non publié in <ref-ruling> mais in RDAF 2014 II 40).
2.
2.1. La décision attaquée relève du droit public et aucune des exceptions prévues à l'<ref-law> n'est réalisée, de sorte que la voie du recours en matière de droit public est ouverte sur la base de l'<ref-law>. Le recours est dirigé contre une décision finale (cf. <ref-law>) rendue par un tribunal supérieur statuant en dernière instance cantonale (cf. art. 86 al. 1 let. d et al. 2 LTF). Déposé en temps utile et dans la forme prescrite (cf. art. 42 et 100 al. 1 LTF) par le recourant qui a un intérêt digne de protection à son annulation ou à sa modification (cf. <ref-law> en relation avec l'<ref-law> et 146 LIFD), il est en principe recevable.
2.2. L'arrêt entrepris a confirmé la décision d'irrecevabilité du Service des contributions portant sur les taxations d'office du recourant pour les périodes fiscales 2005 à 2007. Par conséquent, la conclusion du recourant tendant à l'annulation des décisions de taxation rendues par le Service des contributions n'a pas à être traitée par le Tribunal fédéral car hors objet du litige. Par ailleurs, le domicile fiscal du recourant pour les périodes fiscales 2005 à 2007 a été définitivement fixé dans le canton de Neuchâtel par l'arrêt du Tribunal fédéral du 14 mars 2012 (cause 2C_753/2011). La conclusion du recourant tendant au constat qu'il n'est plus assujetti dans ce canton depuis le 1er septembre 2004 est donc irrecevable, car elle excède elle aussi l'objet de la présente procédure. Sont également irrecevables les griefs invoqués en lien avec cette conclusion. Il ne sera en particulier pas revenu sur les griefs relatifs à la bonne foi et à l'appréciation arbitraire des faits.
3.
Aux termes de l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente.
Dans la mesure où il ne résulte pas de l'arrêt attaqué, le jugement du 17 mars 2015 du Tribunal civil de Neuchâtel produit par le recourant constitue une pièce nouvelle irrecevable, que le Tribunal fédéral ne peut pas prendre en considération.
4.
Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, le recourant se prévaut d'une violation de son droit d'être entendu pour défaut de motivation de l'arrêt entrepris.
4.1. Le droit d'être entendu découlant de l'art. 29 al. 2 Cst. impose notamment à l'autorité de motiver sa décision. Cette obligation est remplie lorsque l'intéressé est mis en mesure d'en apprécier la portée et de la déférer à une instance supérieure en pleine connaissance de cause. Il suffit que l'autorité mentionne au moins brièvement les motifs qui l'ont guidée et sur lesquels elle s'est fondée pour rendre sa décision. Elle n'est pas tenue de se prononcer sur tous les moyens des parties et peut ainsi se limiter aux points essentiels pour la décision à rendre (<ref-ruling> consid. 5.1 p. 237; <ref-ruling> consid. 3.2 p. 270; <ref-ruling> consid. 5.2 p. 236). En outre, le Tribunal fédéral ne se prononce sur la violation des droits fondamentaux, dont le droit d'être entendu, que s'il se trouve saisi d'un grief invoqué et motivé de façon détaillée (cf. <ref-law>).
4.2. En l'occurrence, le recourant se plaint de la situation générale dans laquelle il se trouve sur le plan fiscal, qu'il considère comme étant peu claire. Le recourant n'indique cependant pas précisément ni concrètement quel élément du raisonnement juridique n'aurait pas été suffisamment motivé par l'instance précédente, de sorte que son grief est irrecevable eu égard aux exigences de motivation accrues de l'<ref-law>.
5.
5.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral et du droit international (cf. art. 95 let. a et b ainsi que 106 al. 1 LTF). Comme déjà exposé, il n'examine toutefois la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant conformément au principe d'allégation (<ref-law>). Ainsi, lorsque le grief d'arbitraire est soulevé, il appartient au recourant d'expliquer clairement en quoi consiste l'arbitraire (cf. <ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 3.1 p. 265 s.; <ref-ruling> consid. 4.1 p. 133). En outre, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il peut cependant rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>; cf. aussi <ref-law>).
5.2. Tout au long de son écriture, le recourant discute librement les faits retenus par le Tribunal cantonal comme il le ferait devant une Cour d'appel. Un tel procédé est inadmissible devant le Tribunal fédéral. A cela s'ajoute qu'il ne suffit pas de déclarer un état de fait arbitraire pour que soit ouverte la voie d'une critique appellatoire de l'arrêt entrepris. Il convient au contraire d'établir de manière précise en quoi les mécanismes mis en oeuvre par l'instance précédente pour fixer l'état de fait étaient à ce point déficients qu'ils en seraient devenus arbitraires. Une telle obligation de motivation, déduite de l'<ref-law>, n'a nullement été respectée en la cause. Conformément à l'<ref-law>, le Tribunal fédéral se fondera exclusivement sur les faits tels qu'ils ressortent de l'arrêt attaqué.
I. Impôt fédéral direct
6.
Le recourant reproche à l'autorité précédente d'avoir retenu que ses réclamations n'étaient pas suffisamment motivées.
6.1. La taxation d'office est opérée si, malgré sommation, le contribuable n'a pas satisfait à ses obligations (<ref-law>). A teneur de l'<ref-law>, le contribuable qui a été taxé d'office peut déposer une réclamation contre cette taxation uniquement pour le motif qu'elle est manifestement inexacte. La réclamation doit être motivée et indiquer, le cas échéant, les moyens de preuve. L'obligation de motiver la réclamation contre une taxation d'office est une exigence formelle dont la violation entraîne l'irrecevabilité (<ref-ruling> consid. 2.3 p. 551; <ref-ruling> consid. 4c p. 557; arrêts 2C_554/2013 du 30 janvier 2014 consid. 2.5; 2C_1205/2012 du 25 avril 2013 consid. 3.1). Le contribuable ne peut se limiter à une contestation globale ou à une contestation partielle de positions uniques, car cela ne permet pas d'examiner d'emblée si la taxation d'office est manifestement inexacte (cf. arrêt 2A.39/2004 du 29 mars 2005 consid. 5.2, in RDAF 2005 II p. 564). Il doit en tout cas être possible de reconnaître ce que le réclamant conteste dans la décision attaquée, par exemple le principe de la taxation d'office ou le montant de l'estimation opérée, ainsi que les arguments pertinents en fait et en droit sur lesquels il s'appuie (HUGO CASANOVA, in Commentaire romand, Impôt fédéral direct, 2008, n° 23 ad <ref-law>; MARTIN ZWEIFEL/HUGO CASANOVA, Schweizerisches Steuerverfahrensrecht, 2008, § 20 no 20). Ainsi, le contribuable ne doit pas se contenter de mettre en doute la taxation d'office, mais doit prouver que celle-ci ne correspond pas à la situation réelle. Si la production de la déclaration d'impôt non déposée n'est pas une condition de recevabilité de la réclamation (cf. arrêt 2C_579/2008 du 29 avril 2009 consid. 2.2, in StE 2009 B. 95.1 n° 14), il appartient toutefois au réclamant de présenter les faits de manière suffisamment détaillée et de mentionner les moyens de preuve y relatifs (arrêt 2C_579/2008 précité, consid. 2.1).
6.2. L'arrêt attaqué a confirmé la décision d'irrecevabilité du Service des contributions portant sur les taxations d'office du recourant pour les périodes fiscales 2005, 2006 et 2007. A la lecture des réclamations du recourant des 20 juin et 3 juillet 2013 concernant l'impôt fédéral direct, on comprend que les arguments de l'intéressé diffèrent selon qu'il s'agit, d'une part, de la taxation d'office 2006 et, d'autre part, des taxations d'office pour les périodes fiscales 2005 et 2007. S'agissant de ces dernières, le recourant conteste le montant de l'impôt retenu dans les décisions de taxation, alors que pour la période fiscale 2006, il conteste principalement la différence entre le montant de l'impôt fédéral retenu dans la taxation d'office intitulée " taxation rectificative définitive " (0 fr.) et le montant réclamé par le fisc dans le document intitulé " décompte final de l'impôt fédéral direct " (4'091 fr.). Il convient donc d'examiner séparément ces deux questions.
6.2.1. Le recourant se plaint en premier lieu de ce que le Service des contributions n'est pas entré en matière sur les réclamations qu'il a formulées à l'encontre du montant de l'imposition retenu dans les taxations d'office 2005 et 2007. Force est toutefois de constater qu'il a renoncé à remplir les déclarations d'impôt afférentes à ces périodes fiscales et qu'il n'a pas présenté un état de fait qui aurait permis à l'administration fiscale de constater que la taxation d'office était manifestement inexacte. Il s'est contenté de répéter qu'il n'avait plus de domicile fiscal dans le canton de Neuchâtel depuis 2004, alors que son assujettissement dans ce canton avait été tranché définitivement par le Tribunal fédéral (cf. arrêt 2C_753/2011 du 14 mars 2012). Quant au calcul de l'impôt, le recourant a contesté les montants retenus par le Service des contributions dans les taxations d'office, sans exposer en quoi les chiffres seraient manifestement inexacts. Une telle contestation, toute générale et théorique, dépourvue d'arguments précis tant en fait qu'en droit, ne répond manifestement pas aux exigences de motivation imposées par la loi et la jurisprudence. Il s'ensuit que les premiers juges pouvaient, sans violer le droit fédéral, confirmer l'irrecevabilité retenue par le Service des contributions concernant les taxations d'office en matière d'impôt fédéral direct pour les années 2005 et 2007.
Du moment que c'est à juste titre que le Service des contributions n'est pas entré en matière sur les réclamations portant sur les périodes fiscales 2005 et 2007, il n'y a pas lieu d'examiner en procédure de recours les critiques formulées par le recourant à l'encontre des taxations d'office. Procéder à un tel examen reviendrait à admettre que, même en présence d'une réclamation irrecevable, un contribuable serait légitimé à faire la démonstration, devant les instances supérieures, du caractère manifestement inexact de la taxation d'office. Une telle pratique aurait pour effet de vider de leur sens les exigences formelles de l'<ref-law>, dès lors que le contribuable qui, après avoir manqué à son devoir de collaboration et avoir été taxé d'office, a formé une réclamation non motivée, pourrait échapper aux conséquences prévues par la loi (ATF <ref-ruling> consid. 4e p. 558 s.; arrêts 2C_78/2012 et 2C_79/2012 du 10 octobre 2012 consid. 5.1.2; 2C_292/2011 du 31 août 2011 consid. 3.2; 2A.37/2002 du 4 juin 2002 consid. 1.2). Il n'y a, en particulier, pas lieu d'examiner les critiques du recourant relatives à l'absence de déduction pour les frais de transport, de nourriture et de logement.
Le recours doit dès lors être rejeté en tant qu'il porte sur les taxations d'office en matière d'impôt fédéral direct pour les années 2005 et 2007.
6.2.2. S'agissant de la période fiscale 2006, le contribuable a reçu une première taxation d'office, expédiée le 6 juin 2013, mentionnant un revenu imposable de 107'000 fr. au niveau fédéral pour un impôt sur le revenu de 2'591 fr. La taxation faisait également état d'une amende d'ordre s'élevant à 1'500 fr. Le même jour, l'administration fiscale a notifié au recourant une nouvelle décision de taxation intitulée " taxation rectificative définitive " pour la période fiscale 2006 mentionnant un impôt fédéral total pour 2006 de 0 fr. La décision de taxation n'était assortie d'aucune amende. Le 26 juin 2013, l'administration fiscale a notifié au recourant un bulletin de versement intitulé " décompte final de l'impôt fédéral direct " concernant la période fiscale 2006 et mentionnant un solde à payer de 4'091 fr. (soit 2'591 fr. d'impôt sur le revenu et 1'500 fr. d'amende d'ordre). Dans sa réclamation du 3 juillet 2013, le recourant se plaint de ce que le montant de l'impôt total dû pour 2006 figurant dans le décompte final ne correspond pas à celui retenu dans la taxation rectificative définitive.
Compte tenu des circonstances, en particulier du fait que le recourant a reçu deux décisions de taxation contradictoires expédiées le même jour, le Service des contributions ne pouvait pas se contenter de déclarer la réclamation du recourant irrecevable, pour défaut de motivation. Dans la mesure où le recourant a démontré que le montant d'impôt fédéral réclamé pour l'année 2006 dans le bulletin de versement ne correspondait pas à celui fixé par l'administration fiscale dans la décision de taxation intitulée " taxation rectificative définitive ", il y a tout lieu de considérer que le recourant a apporté les éléments suffisants pour admettre le caractère manifestement inexact de l'une des taxations d'office notifiée au contribuable pour la période fiscale 2006. L'instance précédente a donc violé le droit fédéral en confirmant l'irrecevabilité de la réclamation, en tant qu'elle était dirigée contre la taxation d'office 2006.
6.3. Le recourant se plaint en outre de ce que le Service des contributions n'est pas entré en matière sur ses réclamations en tant qu'elles étaient dirigées contre les amendes d'ordre infligées pour les périodes fiscales 2005 à 2007.
6.3.1. L'<ref-law> prévoit que sera puni d'une amende celui qui, malgré sommation, enfreint intentionnellement ou par négligence une obligation qui lui incombe en vertu de la présente loi ou d'une mesure prise en application de celle-ci, notamment, en ne déposant pas une déclaration d'impôt ou les annexes qui doivent l'accompagner (lettre a), en ne fournissant pas les attestations, renseignements ou informations qu'il est tenu de donner (lettre b), en ne s'acquittant pas des obligations qui lui incombent dans une procédure d'inventaire, en sa qualité d'héritier ou de tiers (lettre c). L'amende est de 1'000 fr. au plus et de 10'000 fr. au plus dans les cas graves ou en cas de récidive (<ref-law>). D'après l'<ref-law>, le contribuable peut adresser à l'autorité de taxation une réclamation écrite contre la décision de taxation dans les 30 jours qui suivent sa notification.
6.3.2. En l'occurrence, l'administration fiscale a notifié des amendes d'ordre à hauteur de 600 fr. pour 2005 et de 2'575 fr. pour 2007. Dans l'arrêt entrepris, le Tribunal cantonal a confirmé la décision d'irrecevabilité rendue en la matière par le Service des contributions, considérant que les réclamations du recourant portant sur les amendes d'ordre notifiées en lien avec les taxations 2005 et 2007 ne répondaient pas aux exigences de motivation imposées par la loi et la jurisprudence. Ce faisant, la cour cantonale a appliqué les règles relatives au degré de motivation prévues par l'<ref-law> pour la réclamation contre la taxation d'office. Le droit fédéral ne pose cependant pas de telles exigences s'agissant de la réclamation contre une amende d'ordre. Il s'ensuit que le Tribunal cantonal a violé le droit fédéral en confirmant la décision d'irrecevabilité de la réclamation du recourant en tant qu'elle était dirigée à l'encontre des amendes d'ordre notifiées en rapport avec les taxations d'office 2005 et 2007. Le recours doit donc être admis sur ce point.
Quant à l'année 2006, le recourant s'est plaint de ce que l'administration fiscale a réclamé 1'500 fr. à titre d'amende d'ordre dans le décompte final expédié le 26 juin 2013 alors que la décision de " taxation rectificative définitive " du 6 juin 2013 ne prononçait aucune amende à l'égard du contribuable pour la période fiscale en cause (cf. supra consid. 6.2.2). Au vu des circonstances, le Service des contributions aurait dû entrer en matière sur ce point et rendre une nouvelle décision. Partant, en confirmant la décision d'irrecevabilité de la réclamation du recourant en tant qu'elle portait sur le principe de l'amende d'ordre pour la période fiscale 2006, le Tribunal cantonal a violé le droit fédéral. Le recours doit également être admis sur ce point.
7.
En résumé, le recours doit être partiellement admis dans la mesure où il est recevable en ce qui concerne l'IFD. L'arrêt attaqué doit être annulé en tant qu'il confirme l'irrecevabilité des réclamations des 20 juin et 3 juillet 2013 à l'encontre de la taxation d'office pour l'année 2006 et des amendes d'ordre prononcées en lien avec les décisions de taxation en matière d'impôt fédéral 2005 à 2007. Il est confirmé pour le surplus. La cause sera renvoyée au Service des contributions pour nouvelle décision dans le sens des considérants.
II. Impôts cantonal et communal
8.
Sur le plan cantonal, le recourant reproche à l'autorité précédente d'avoir retenu que sa réclamation du 13 juin 2013 n'était pas suffisamment motivée.
8.1. D'après l'<ref-law>, le Tribunal fédéral applique le droit d'office. Il examine en principe librement la conformité du droit cantonal harmonisé et son application par les instances cantonales aux dispositions de la loi fédérale sur l'harmonisation fiscale. Cependant, lorsque les dispositions de la LHID laissent une marge de manoeuvre aux cantons, le pouvoir d'examen du Tribunal fédéral se limite à l'arbitraire (cf. <ref-ruling> consid. 2 p. 209 s.), dont la violation doit être motivée conformément aux exigences accrues de l'<ref-law> (cf. supra consid. 5.1).
8.2. L'<ref-law> prévoit que le contribuable peut adresser à l'autorité de taxation une réclamation écrite contre la décision de taxation dans les 30 jours qui suivent sa notification. Sous réserve du cas particulier de la taxation d'office, il n'est pas nécessaire que la réclamation soit motivée.
Aux termes de l'<ref-law>, le contribuable qui a été taxé d'office peut déposer une réclamation contre cette taxation uniquement pour le motif qu'elle est manifestement inexacte. La réclamation doit être motivée et indiquer, le cas échéant, les moyens de preuve. La procédure faisant partie des domaines harmonisés (<ref-law>), la loi sur l'harmonisation a restreint les compétences des cantons pour la mise en oeuvre du droit cantonal de procédure.
L'art. 201 al. 1 et 2 de la loi neuchâteloise du 21 mars 2000 sur les contributions directes (LCdir; RSN 631.0) a la même teneur que l'art. 48 al. 1 et 2 LHID. Les mêmes principes sont dès lors valables pour les deux catégories d'impôts (cf. arrêt 2C_664/2013 du 28 avril 2014 consid. 8).
8.2.1. En tant que le recourant se plaint de ce que le Service des contributions n'est pas entré en matière sur la question de l'étendue des montants retenus dans les taxations d'office 2005 et 2007, il y a lieu de se référer aux considérations développées pour l'impôt fédéral direct. En effet, à l'instar du droit fédéral, le droit cantonal harmonisé pose une exigence de motivation accrue en matière de réclamation contre les taxations d'office. Or, le recourant n'a pas réussi à prouver le caractère manifestement inexact des taxations d'office afférentes aux périodes fiscales 2005 et 2007. Il convient donc de rejeter le grief du recourant pour les mêmes motifs que ceux qui ont été exposés ci-dessus (cf. supra consid. 6.2.1).
8.2.2. S'agissant du grief invoqué à l'encontre de l'irrecevabilité de la réclamation en tant qu'elle porte sur la taxation d'office afférente à la période fiscale 2006, il repose sur un état de fait similaire à celui retenu en matière d'impôt fédéral direct. En effet, le contribuable a reçu une première taxation d'office, expédiée le 23 mai 2013, mentionnant un revenu imposable de 111'700 fr. au niveau cantonal et communal pour un impôt sur le revenu de 21'695 fr. 80. La taxation faisait également état d'une amende d'ordre s'élevant à 1'500 fr. et d'un rappel de 40 fr. Le même jour, l'administration fiscale a notifié au recourant une nouvelle décision de taxation intitulée " taxation rectificative définitive " pour la période fiscale 2006 mentionnant un impôt direct cantonal et communal de 0 fr. La décision de taxation n'était assortie d'aucune amende. Le 29 mai 2013, l'administration fiscale a notifié au recourant un bulletin de versement intitulé " décompte final de l'impôt cantonal et communal direct " concernant la période fiscale 2006 et mentionnant un solde à payer de 28'047 fr. 35 (soit notamment 21'695 fr. 80 d'impôt cantonal et communal, 1'500 fr. d'amende d'ordre, 40 fr. de rappel et 5'403 fr. 60 d'intérêts compensatoires).
Compte tenu des circonstances, et pour les mêmes motifs que ceux qui sont exposés ci-avant pour l'impôt fédéral direct (cf. supra consid. 6.2.2), le Service des contributions ne pouvait pas se contenter de déclarer la réclamation du recourant irrecevable, pour défaut de motivation. Il y a donc lieu d'admettre le recours sur ce point et de renvoyer la cause au Service des contributions afin qu'il entre en matière et rende une nouvelle décision.
8.2.3. Quant au grief relatif aux amendes d'ordre prononcées en lien avec les décisions de taxation pour les années 2005 à 2007, il repose lui aussi sur un état de fait similaire à celui retenu en matière d'impôt fédéral direct, de sorte qu'il y a lieu de s'y référer (cf. supra consid. 6.3.2). Le droit cantonal harmonisé prévoit du reste le même système que le droit fédéral: la réclamation contre le prononcé d'une amende n'est soumise à aucune exigence de motivation particulière (cf. supra consid. 8.2). Partant, il y a lieu d'admettre le recours sur ce point pour les mêmes motifs que ceux qui ont été exposés ci-dessus (cf. supra consid. 6.3.2) et de renvoyer la cause au Service des contributions afin qu'il entre en matière et rende une nouvelle décision.
8.2.4. Le recourant se plaint enfin de ce que le Service des contributions n'est pas entré en matière sur sa réclamation en tant qu'elle était dirigée contre les intérêts compensatoires retenus dans les décomptes finaux ICC pour les périodes fiscales 2006 et 2007. Ce grief concerne uniquement l'impôt cantonal et communal.
En l'occurrence, les décomptes finaux de l'impôt cantonal et communal, expédiés le 29 mai 2013, font état d'intérêts compensatoires à hauteur de 5'403 fr. 60 pour l'année 2006 et de 4'920 fr. 65 pour l'année 2007. Du moment que le calcul des intérêts compensatoires ne constitue pas un élément de la taxation d'office, la réclamation contre ces intérêts n'est soumise à aucune exigence de motivation particulière (cf. supra consid. 6.3.2). Il s'ensuit que le Service des contributions ne pouvait pas déclarer la réclamation irrecevable en tant qu'elle était dirigée contre les montants des intérêts compensatoires, au motif que le recourant n'avait pas démontré leur caractère manifestement inexact. Partant, en confirmant l'irrecevabilité de la réclamation en tant qu'elle était dirigée contre le prononcé des intérêts compensatoires pour les années 2006 et 2007, l'arrêt attaqué est contraire au droit. Le recours doit partant également être admis sur ce point.
8.3. Cela conduit à l'admission partielle du recours en matière d'impôts cantonal et communal dans la mesure où il est recevable. L'arrêt attaqué doit être annulé en tant qu'il confirme l'irrecevabilité de la réclamation du 13 juin 2013 à l'encontre de la taxation d'office pour l'année 2006, des amendes d'ordre prononcées en lien avec les décisions de taxation 2005 à 2007 et des intérêts compensatoires requis dans les décomptes finaux des années 2006 et 2007. Il est confirmé pour le surplus. La cause sera renvoyée au Service des contributions pour nouvelle décision dans le sens des considérants.
9.
Le recourant a obtenu partiellement gain de cause sans l'aide d'un mandataire professionnel. Dans ces conditions, il doit supporter une partie des frais judiciaires (<ref-law>). L'autre partie des frais judiciaires est mise à la charge du canton de Neuchâtel qui succombe partiellement et dont l'intérêt patrimonial est en cause (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF). Le recourant ayant été considéré comme succombant entièrement devant le Tribunal cantonal, il y a lieu de renvoyer la cause à cette autorité pour qu'elle procède à une nouvelle répartition des frais et dépens de la procédure qui s'est déroulée devant elle (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_509/2015 et 2C_510/2015 sont jointes.
2.
Le recours est partiellement admis en tant qu'il concerne l'impôt fédéral direct, dans la mesure où il est recevable. Partant, l'arrêt rendu le 4 mai 2015 par le Tribunal cantonal est annulé en tant qu'il confirme l'irrecevabilité des réclamations des 20 juin et 3 juillet 2013 à l'encontre de la taxation d'office pour l'année 2006 et des amendes d'ordre prononcées en lien avec les décisions de taxation 2005 à 2007. Il est confirmé pour le surplus. La cause est renvoyée au Service des contributions pour nouvelle décision dans le sens des considérants.
3.
Le recours est partiellement admis en tant qu'il concerne les impôts cantonal et communal, dans la mesure où il est recevable. Partant, l'arrêt rendu le 4 mai 2015 par le Tribunal cantonal est annulé en tant qu'il confirme l'irrecevabilité de la réclamation du 13 juin 2013 à l'encontre de la taxation d'office pour l'année 2006, des amendes d'ordre prononcées en lien avec les décisions de taxation 2005 à 2007 et des intérêts compensatoires requis dans les décomptes finaux des années 2006 et 2007. Il est confirmé pour le surplus. La cause est renvoyée au Service des contributions pour nouvelle décision dans le sens des considérants.
4.
L'affaire est renvoyée au Tribunal cantonal pour qu'il fixe à nouveau les frais et dépens de la procédure de recours qui s'est déroulée devant lui.
5.
Les frais judiciaires, arrêtés à 4'000 fr., sont mis pour 2'000 fr. à la charge du recourant et pour 2'000 fr. à la charge du canton de Neuchâtel.
6.
Le présent arrêt est communiqué au recourant, au Service des contributions de la République et canton de Neuchâtel, au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, et à l'Administration fédérale des contributions.
Lausanne, le 2 février 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
La Greffière : McGregor