Faits : A. A.X._ est le père de deux enfants: C._, né en 2004, et D._, née en 2002. Il est divorcé de la mère de ses enfants, B.X._, née Y._. D'après la convention de divorce, ratifiée par le juge civil le 16 janvier 2013, A.X._ et B.X._ ont l'autorité parentale conjointe sur leurs enfants, ainsi que la garde alternée. Le père s'engage à assumer l'ensemble des frais d'entretien et d'éducation relatifs à son fils C._, domicilié chez lui, et à verser une pension alimentaire de 1'000 fr. en faveur de sa fille, D._, domiciliée chez sa mère. La convention règle avec précision les modalités de garde des enfants. Il est notamment prévu que ceux-ci vivent ensemble en se déplaçant de manière conjointe entre les lieux d'habitation des parents. B. Da ns sa déclaration fiscale 2013, A.X._ a annoncé faire ménage commun avec son fils C._. Il a notamment déduit de ses revenus 12'000 fr. au titre de pensions alimentaires versées à sa fille et 4'500 fr. pour enfants à charge. Le 16 mai 2014, le Service des contributions de la République et canton de Neuchâtel (ci-après: le Service des contributions) a informé A.X._ qu'il ne comprenait pas les raisons du versement d'une pension alimentaire en faveur de D._ mais non de C._. Le fait que les enfants avaient des domiciles différents ne devait avoir aucune incidence sur le plan fiscal. Partant, il convenait de procéder à la taxation en admettant que les deux enfants étaient à la charge de la mère, qui serait considérée comme recevant des pensions alimentaires pour chacun d'eux. B.X._ bénéficierait ainsi de la déduction pour enfants, pour famille monoparentale et du barème d'imposition applicable aux couples mariés. Sur la base de cette correspondance, le Service des contributions a, par bordereau de taxation définitive 2013, ajouté 12'000 fr. aux pensions alimentaires annoncées par le contribuable, afin de tenir compte d'une contribution d'entretien fictive en faveur de C._. La décision de taxation précisait que "C._ [était] admis chez Madame pour les raisons évoquées dans le mail du 16 mai 2014 envoyé à votre attention". Le Service des contributions a maintenu sa taxation dans sa décision sur réclamation du 10 juin 2015 pour l'IFD et l'ICC. Il a précisé que les enfants avaient une situation identique envers leurs parents, si ce n'est au niveau de la charge d'entretien. Aucune raison, autre que fiscale, n'expliquait la différence de traitement entre les enfants et la domiciliation visait uniquement à mettre chacun des parents au bénéfice du barème d'imposition applicable aux couples mariés. Dans ces conditions, il convenait de s'écarter de la convention de divorce ratifiée par le juge en raison de l'identité de la situation entre les enfants au niveau de l'autorité parentale et de la garde. C. Par arrêt du 25 août 2016, la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel (ci-après: le Tribunal cantonal) a déclaré le recours irrecevable en tant qu'il portait sur l'IFD et a rejeté celui se rapportant à l'ICC. Il a jugé en substance que le fait que l'un des enfants était domicilié chez le contribuable ne lui donnait pas le droit de bénéficier du barème applicable aux couples mariés et des déductions sociales pour l'entretien de cet enfant. D. Agissant par la voie du recours en matière de droit public, A.X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 25 août 2016 du Tribunal cantonal et de mettre l'intéressé au bénéfice du barème d'imposition des personnes mariées. Le Service des contributions, le Tribunal cantonal et l'Administration fédérale des contributions concluent au rejet du recours. E. Le 23 juin 2017, la Cour de céans a délibéré sur le présent recours en séance publique.