Faits : A. A._, né en 1945, et B._, née en 1948, ont habité depuis 1980 une villa sise à C._. Le 31 août 2004, A._ a annoncé son départ au contrôle des habitants de C._ pour la commune de D._ dans le canton de Zoug. Par décision du 13 novembre 2007, le Service des contributions de la République et canton de Neuchâtel (ci-après: le Service des contributions) a considéré que les époux étaient imposables de manière illimitée dans le canton de Neuchâtel pour la période fiscale 2004 et les suivantes. La réclamation de A._ contre cette décision a été rejetée le 6 février 2008. Saisi d'un recours contre cette décision, le Tribunal fiscal du canton de la République et canton de Neuchâtel (ci-après: le Tribunal fiscal) a confirmé, par arrêt du 26 avril 2010, que l'intéressé avait conservé son domicile fiscal dans le canton de Neuchâtel pour les périodes fiscales 2005, 2006 et 2007. Pour la période fiscale 2008 en revanche, son domicile fiscal se trouvait dans le canton de Zoug. A._ a déposé un recours contre cet arrêt auprès de la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel (ci-après: le Tribunal cantonal), qui l'a rejeté le 16 août 2011. Par arrêt du 14 mars 2012 (cause 2C_753/2011), le Tribunal fédéral a partiellement admis le recours déposé par l'intéressé à l'encontre de cet arrêt. Il a confirmé que le recourant avait conservé son domicile fiscal dans le canton de Neuchâtel pour les périodes fiscales 2005 à 2007. Il a toutefois renvoyé la cause à l'instance inférieure pour instruction complémentaire et nouvelle décision sur la question de savoir si les époux devaient faire l'objet d'une taxation commune ou d'une taxation séparée. Statuant à nouveau le 27 juin 2012, le Tribunal cantonal a rejeté le recours dans la mesure où il était recevable. Cet arrêt est entré en force. B. Le Service des contributions a imparti à A._ un délai au 18 mars 2013 afin qu'il dépose ses déclarations d'impôt pour les années 2005 à 2007. Le 17 avril 2013, compte tenu de l'inaction du contribuable, le Service des contributions a procédé à des rappels et des sommations, sous menace de taxations d'office et d'amendes d'ordre. Le 26 avril 2013, A._ a retourné, sans les remplir, les déclarations d'impôt 2005 à 2007 au Service des contributions, en faisant valoir qu'il était domicilié à Zoug depuis 2004, que les impôts 2005 à 2007 dans le canton de Neuchâtel n'étaient pas dus et qu'ils étaient prescrits. Par décision du 23 mai 2013, le Service des contributions a notifié à A._ des taxations d'office pour l'impôt direct cantonal et communal des années 2005 à 2007, assorties d'amendes d'ordre et de frais de rappel. Le 6 juin 2013, il lui a en outre notifié des taxations d'office pour l'impôt fédéral direct des années 2005 à 2007, assorties d'amendes d'ordre. Le 13 juin 2013, A._ a élevé réclamation à l'encontre des taxations d'office pour l'impôt cantonal et communal 2005, 2006 et 2007, invoquant notamment la prescription. Il a indiqué en outre qu'il n'avait plus de domicile fiscal dans le canton de Neuchâtel depuis 2004. A supposer qu'il fût domicilié dans ce canton durant les années litigieuses, il aurait dû faire l'objet d'une taxation commune et non d'une taxation séparée. L'intéressé a également contesté les frais de rappels, les amendes d'ordre, les intérêts compensatoires ainsi que les montants réclamés à titre d'impôt cantonal et communal. Par courriers des 20 juin et 3 juillet 2013, A._ a élevé réclamation à l'encontre des taxations d'office pour l'impôt fédéral direct 2005, 2006 et 2007, en contestant à nouveau les amendes d'ordre et les montants réclamés à titre d'impôt. Invoquant la prescription, l'intéressé a rappelé qu'il n'avait plus de domicile fiscal dans le canton de Neuchâtel depuis 2004. Par décision du 23 juin 2014, le Service des contributions a déclaré les réclamations irrecevables pour défaut de motivation. Saisi d'un recours du contribuable, le Tribunal cantonal l'a rejeté par arrêt du 4 mai 2015. C. A l'encontre de cet arrêt, A._ forme un recours en matière de droit public auprès du Tribunal fédéral. Il conclut, avec suite de frais et dépens, à ce que le Tribunal fédéral annule l'arrêt du 4 mai 2015 du Tribunal cantonal, constate que les réclamations des 13 juin et 3 juillet 2013 sont recevables et ordonne au Tribunal cantonal de statuer sur le fond. Il demande également au Tribunal fédéral d'ordonner au Service des contributions de reprendre intégralement son dossier pour nouvelles décisions et d'annuler les décisions de taxation pour les périodes fiscales 2005, 2006 et 2007. Il conclut enfin à ce que le Tribunal fédéral constate qu'il ne doit pas être assujetti depuis le 1er septembre 2014 (recte: 2004) dans le canton de Neuchâtel. Par ordonnance du 29 juin 2015, le Président de la IIe Cour de droit public a accordé l'effet suspensif au recours en tant qu'il n'est pas devenu sans objet. Le Service des contributions propose le rejet du recours. Invitée à se déterminer, l'Administration fédérale des contributions renonce à formuler des observations et s'en remet à justice. Le Tribunal cantonal se réfère aux motifs de l'arrêt entrepris et conclut au rejet du recours. Par courrier du 22 juin 2015, A._ a produit une nouvelle pièce.