Faits :
A.
Les époux A.X._ et B.X._ sont contribuables neuchâtelois. Ils sont les parents de C._, né en 1992, et de D._, née en 1995.
B.
Le 14 mai 2014, le Service cantonal des contributions (ci-après: le Service cantonal) a procédé à la taxation des époux X._ concernant l'impôt cantonal et communal et l'impôt fédéral direct des périodes fiscales 2011 et 2012. Il en ressort notamment que l'autorité fiscale a, d'une part, refusé d'admettre un report de pertes commerciales de 400'000 fr. que A.X._ avait fait valoir, et que, d'autre part, il a réduit le montant de la déduction sociale pour enfants à charge.
Par décision sur réclamation du 12 décembre 2014, le Service cantonal a rejeté la réclamation que A.X._ avait élevée contre ces décisions de taxation. Le contribuable n'avait pas prouvé l'existence de pertes commerciales. S'agissant de la déduction sociale pour enfants, le Service cantonal a précisé que, pour la période fiscale 2011, la déduction pour deux enfants à charge était admise, mais qu'elle devait être réduite à 9'500 fr., conformément au système dégressif prévu par la loi. Pour la période fiscale 2012, seule l'enfant D._ pouvait donner droit à une déduction pour enfants à charge, C._ n'apparaissant pas dans le formulaire de déclaration.
Le 2 février 2015, A.X._ a recouru contre cette décision sur réclamation auprès de la Cour de droit public du Tribunal cantonal (ci-après: le Tribunal cantonal). Il se prévalait d'un accord conclu le 22 février 2008 entre son épouse, lui-même et l'Etat de Neuchâtel (ci-après: l'accord de 2008), qui aurait dû permettre de régler la totalité du contentieux, fiscal et non fiscal du couple, y compris s'agissant de la prise en compte de pertes commerciales subies antérieurement. Cet accord avait, selon le contribuable, été résilié à tort par l'Etat. Il demandait en conséquence au Tribunal cantonal d'instruire pour juger de la validité de cet accord. Il maintenait par ailleurs avoir droit à une déduction sociale pour ses deux enfants, qui se trouvaient en formation.
Par arrêt du 5 octobre 2016, le Tribunal cantonal a d'abord constaté l'irrecevabilité du recours en tant qu'il portait sur l'impôt fédéral direct, en raison de son dépôt tardif. S'agissant de l'impôt cantonal et communal, le Tribunal cantonal a retenu que les conditions du report de pertes commerciales n'étaient pas remplies. L 'accord de 2008 dont le contribuable se prévalait, et qui prévoyait que les époux X._ bénéficiaient d'un "moratoire" de toutes poursuites jusqu'à examen complet de leur situation fiscale, ne lui était d'aucun secours. Même s'il fallait admettre qu'il était encore applicable, ce qui n'était a priori pas le cas, il ne pouvait de toute manière empêcher l'autorité fiscale de procéder à la taxation de périodes fiscales ultérieures. Il n'était partant pas nécessaire de donner suite à la demande d'instruction du contribuable. S'agissant de la déduction sociale pour enfants, les juges cantonaux ont confirmé le calcul de la réduction de la déduction sociale admise pour les deux enfants pour la période fiscale 2011; pour la période fiscale 2012 en revanche, ils ont renvoyé le dossier au Service cantonal, afin qu'il examine si l'enfant C._ se trouvait encore en formation au 31 décembre 2012, auquel cas une déduction pour deux enfants devait aussi être accordée pour cette période.
C.
Agissant en son nom et au nom de son épouse, A.X._ forme un recours en matière de droit public au Tribunal fédéral à l'encontre de l'arrêt du 5 octobre 2016 du Tribunal cantonal en demandant, sous suite de frais et dépens, son annulation et le renvoi de la cause au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Les recourants se plaignent en substance d'une violation des règles sur le fardeau de la preuve, font valoir qu'ils ont réglé des montants d'impôts qui avaient été attribués à des périodes prescrites contrairement à leur volonté et invoquent une violation du principe de la célérité.
Par ordonnance du 14 décembre 2016, la Cour de céans a constaté que la requête d'effet suspensif contenue dans le recours était désormais sans objet, les autorités cantonales ayant déclaré avoir suspendu la procédure de recouvrement des impôts jusqu'à droit connu sur le recours.
Le Tribunal cantonal et le Service cantonal se réfèrent aux motifs de l'arrêt attaqué et concluent au rejet du recours. L'Administration fédérale a renoncé à se déterminer et s'en est remise à l'appréciation de la Cour de céans.

Considérant en droit :
I. Recevabilité et points de procédure
1.
Le Tribunal cantonal a rendu une seule décision valant tant pour l'impôt fédéral direct (IFD) que pour l'impôt cantonal et communal (ICC) (cf. <ref-ruling> consid. 1.3.1 p. 262 s.). Dans ces circonstances, on ne peut reprocher aux recourants d'avoir formé un seul recours valant pour les deux catégories d'impôts devant le Tribunal fédéral (cf. <ref-ruling> consid. 1.3.3 p. 264). Par souci d'unification par rapport à d'autres cantons dans lesquels deux décisions sont rendues, la Cour de céans a ouvert deux dossiers, l'un concernant l'ICC (2C_1080/2016), l'autre l'IFD (2C_1081/2016). Comme l'état de fait est identique, les causes seront néanmoins jointes et il sera statué dans un seul arrêt (cf. art. 71 LTF et 24 PCF [RS 273]).
2.
Le Tribunal fédéral examine d'office et avec pleine cognition la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 417; <ref-ruling> consid. 1 p. 644).
2.1. Le recours est dirigé non seulement contre l'arrêt attaqué, mais également contre un arrêt du Tribunal cantonal du 6 octobre 2016 portant sur les périodes fiscales 1998, 2001, 2002, 2004 à 2006 (CDP.2014.94-FISC, procédure 2C_1078/2016 devant la Cour de céans). Les recourants expliquent n'avoir formé qu'une seule écriture à l'encontre de ces deux arrêts, parce que les arguments qu'ils y développent seraient pertinents pour les deux affaires.
Aux termes de l'art. 24 al. 1 PCF applicable par renvoi de l'art. 71 LTF, le demandeur qui entend exercer plusieurs actions contre le même défendeur peut les joindre dans une seule demande si le Tribunal fédéral est compétent pour connaître de chacune d'elles.
Il n'est pas exclu qu'un seul acte de recours soit dirigé contre deux décisions qui ont été notifiées séparément, lorsque celles-ci présentent un lien de connexité. Dans un tel cas, le Tribunal fédéral joint les causes pour des motifs d'économie de procédure et statue dans un seul arrêt en application de l'art. 24 PCF (cf. par exemple arrêt 5A.716/2017 du 5 octobre 2017 consid. 2). En matière d'impôts directs, il est fréquent que l'instance précédente traite dans un seul arrêt à la fois de l'IFD et de l'ICC, ce qui est admissible (cf. <ref-ruling> consid. 1.3.1 p. 262 s.), de sorte que la jurisprudence admet aussi que le recourant ne forme qu'un seul recours pour contester les deux impôts, ce qui a été admis en l'espèce (cf. consid. 1).
En l'espèce toutefois, les deux arrêts que les recourants contestent dans leur unique recours ne présentent pas de lien de connexité: ils concernent des périodes fiscales différentes et traitent de questions matérielles différentes. Les recourants soutiennent certes que la question de la validité de l'accord de 2008 a un impact sur les deux affaires. Le point de savoir si ce seul élément est suffisant pour admettre le dépôt d'une seule écriture est douteux. Toutefois, étant donné l'issue de la cause, la question de la recevabilité d'un tel recours souffre de rester ouverte.
Dans la suite du raisonnement, seuls les griefs dont on parvient à déterminer qu'ils sont dirigés contre l'arrêt du 5 octobre 2016 seront examinés.
2.2. La décision attaquée a été rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF), dans une cause de droit public (art. 82 let. a LTF) qui ne tombe sous le coup d'aucune des exceptions prévues à l'art. 83 LTF. La voie du recours en matière de droit public est donc ouverte (cf. également, s'agissant de l'ICC, l'art. 73 al. 1 de la loi fédérale du 14 décembre 1990 sur l'harmonisation des impôts directs des cantons et des communes [LHID; RS 642.14]).
2.3. Les décisions sujettes à recours devant le Tribunal fédéral sont soit les décisions qui mettent fin à la procédure (art. 90 LTF, décisions finales), soit les décisions partielles au sens de l'art. 91 LTF, soit les décisions préjudicielles et incidentes notifiées séparément, aux conditions prévues aux art. 92 et 93 LTF.
L'arrêt entrepris, qui déclare le recours en matière d'IFD irrecevable pour cause de tardiveté du recours, est final s'agissant de cet impôt. S'agissant de l'ICC, il met fin à la procédure s'agissant de la période fiscale 2011. Pour la période fiscale 2012, l'arrêt attaqué renvoie la cause au Service cantonal pour qu'il examine si, comme les contribuables le soutenaient, l'enfant C._ était toujours en formation au 31 décembre 2012, auquel cas la déduction sociale revendiquée pour cet enfant devait être admise. La procédure n'est donc formellement pas close s'agissant de l'ICC 2012. Toutefois, dans la mesure où le renvoi ne laisse aucune marge de manoeuvre à l'autorité fiscale, l'on peut admettre que la décision entreprise est matériellement une décision finale également s'agissant de l'ICC 2012 (<ref-ruling> consid. 1.1 p. 143; BERNARD CORBOZ, in Commentaire de la LTF, 2e éd. 2014, n° 14 ad art. 93 LTF).
2.4. Il faut encore relever que les recourants n'ont pris que des conclusions en annulation et en renvoi, alors que le Tribunal fédéral a un pouvoir général de réforme (art. 107 al. 2 LTF); la réserve de l'art. 73 al. 3 LHID, encore en vigueur au moment du dépôt du recours (abrogée au 1er janvier 2017; RO 2015 779), devait de toute façon céder le pas devant l'art. 107 al. 2 LTF (<ref-ruling> consid. 1.5.3 p. 192). Sous l'angle de la LTF, les conclusions en renvoi sont toutefois admissibles en l'occurrence, dès lors que, comme les recourants soulèvent des griefs formels, le Tribunal fédéral, s'il leur donnait gain de cause, se verrait tenu de renvoyer l'affaire devant l'instance cantonale pour qu'elle statue à nouveau (cf. <ref-ruling> consid. 1.3 p. 317; arrêt 2C_674/2015 du 26 octobre 2017 consid. 2.2).
2.5. Au surplus, le recours a été déposé en temps utile (cf. art. 100 al. 1 LTF) et dans les formes prescrites (cf. art. 42 LTF) par les recourants, qui ont qualité pour recourir au sens de l'art. 89 al. 1 LTF. Il convient donc d'entrer en matière.
3.
3.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Toutefois, il n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant, conformément au principe d'allégation (cf. art. 106 al. 2 LTF). L'acte de recours doit alors, pour que le grief soit examiné, contenir un exposé succinct des droits et principes constitutionnels violés et préciser de manière claire et détaillée en quoi consiste la violation (cf. <ref-ruling> consid. 1.3 p. 41; <ref-ruling> consid. 2.2 p. 232).
3.2. Pour statuer, le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (art. 105 al. 1 LTF), à moins que ceux-ci n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (<ref-ruling> consid. 2.3.1 p. 244; <ref-ruling> consid. 2 p. 117) - ou en violation du droit au sens de l'art. 95 LTF (art 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (cf. art. 97 al. 1 LTF). Il incombe au recourant de démontrer d'une manière circonstanciée, conformément aux exigences de motivation de l'art. 106 al. 2 LTF, que les faits ont été établis de manière inexacte (cf. <ref-ruling> consid. 1.3 p. 41; <ref-ruling> consid. 2.2 p. 232). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente (cf. art. 97 al. 1 LTF), il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées. Sinon, il n'est pas possible de tenir compte d'un état de fait divergeant de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 3.1.2 p. 34; <ref-ruling> consid. 5.1 p. 356). Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 2.3 p. 266).
Dans la mesure où les recourants présentent de manière appellatoire leur propre version des faits ou complètent librement l'état de fait, sans invoquer ou établir ni l'arbitraire, ni une autre violation des droits fondamentaux, le Tribunal fédéral ne peut pas en tenir compte. Il statuera donc sur la base des faits tels qu'ils ressortent de l'arrêt attaqué.
II. Impôt fédéral direct
4.
L'arrêt attaqué a constaté l'irrecevabilité du recours concernant l'IFD en raison de son dépôt tardif. Dans ces circonstances, seuls des griefs de violation du droit en lien avec le refus d'entrer en matière sont admissibles, ce que le recourant doit exposer, conformément aux exigences de l'art. 42 al. 2 1e phrase LTF. Or en l'espèce, les recourants ne formulent aucun grief sur ce point. Leur recours est partant irrecevable en tant qu'il concerne l'IFD.
III. Impôt cantonal et communal
5.
Les recourants reprochent d'abord au Tribunal cantonal de ne pas avoir donné suite à leur demande d'instruction pour examiner la validité de l'accord de 2008 et de s'être limité à tenir pour établi que cet accord avait été résilié. Or, cette question aurait dû faire l'objet, comme ils l'avaient requis, d'une instruction menée conformément aux règles de répartition du fardeau de la preuve découlant de l'art. 8 du Code civil.
5.1. Avant d'examiner si les règles relatives au fardeau de la preuve ont été violées en lien avec l'accord de 2008, il est nécessaire de se demander si on peut reprocher aux juges cantonaux de ne pas avoir donné suite à la demande d'instruction des recourants. Si l'on ne peut leur faire ce grief, la question du respect des règles sur le fardeau de la preuve n'aura alors logiquement plus d'objet.
5.2. Il ressort de l'arrêt attaqué que les juges précédents ont estimé que même à supposer que l'accord de 2008 soit encore valable, ce qui n'était a priori pas le cas puisqu'il avait été résilié par l'autorité, il ne pouvait de toute manière pas aboutir à ce que l'autorité fiscale surseoie à toute démarche de taxation envers les contribuables pour les années suivantes. Sa lecture empêchait en effet toute application aux années 2011 et 2012, par quelque interprétation extensive que ce fût.
Le point de savoir si une instruction devait être menée pour juger de la validité de l'accord de 2008 relève du droit d'être entendu (art. 29 al. 2 Cst.). Cette disposition garantit notamment le droit pour l'intéressé d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, lorsque cela est de nature à influer sur la décision à rendre. L'autorité peut cependant renoncer à procéder à des mesures d'instruction lorsque les preuves administrées lui ont permis de forger sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 6.3.1 p. 298 s. et les arrêts cités).
5.3. Cette question relève ainsi des droits constitutionnels, que le Tribunal fédéral n'examine que si un grief a été formulé à cet égard (art. 106 al. 2 LTF; cf. supra consid. 3.1). Or, les recourants ne font valoir aucune violation de leur droit d'être entendus en lien avec le refus des juges cantonaux d'instruire sur la question de la validité de l'accord de 2008, ni se prévalent d'une appréciation arbitraire des preuves sur ce point. Au surplus, ils ne démontrent pas non plus en quoi l'appréciation des juges cantonaux, selon laquelle l'accord de 2008 ne pouvait de toute manière pas aboutir à ce que l'autorité doive surseoir à toute démarche de taxation pour les années suivantes, serait arbitraire. La simple affirmation que la question de la validité de la résiliation de l'accord de 2008 "aurait à n'en pas douter des conséquences sur les montants réclamés" ne suffit pas au regard des exigences de l'art. 106 al 2 LTF.
5.4. Dans ces circonstances, la violation des règles sur le fardeau de la preuve soulevée par les recourants n'a pas à être examinée.
6.
6.1. Sous le titre "De l'affectation unilatérale des montants versés à titre d'impôts" et "De la prescription", les recourants, dans la mesure où leur argumentation est compréhensible, reprochent en substance au Tribunal cantonal de ne pas avoir jugé nécessaire d'examiner les décomptes d'encaissement d'impôts qu'ils avaient effectués, alors qu'ils avaient expressément indiqué vouloir affecter ces versements au paiement des dettes d'impôt les plus récentes et que cette volonté avait été bafouée par l'autorité fiscale. Ils soutiennent que la question de l'affectation des montants d'impôts payés devait être tranchée, car elle avait un impact sur la prescription des créances fiscales.
6.2. La question des encaissements d'impôts n'est pas traitée ni même évoquée dans l'arrêt attaqué. N'en déplaise aux recourants qui tentent, par une argumentation à nouveau peu intelligible, de soutenir le contraire, cette question n'a pas de lien avec la décision entreprise. Au surplus, les recourants n'allèguent ni a fortiori ne démontrent de manière conforme à l'art. 106 al. 2 LTF (cf. supra consid. 4.2 et 4.3) qu'en n'examinant pas la question des encaissements d'impôts, les juges cantonaux auraient violé leur droit d'être entendus en lien avec l'administration des preuves ou auraient procédé à une appréciation arbitraire de ces dernières. Il n'y a donc pas lieu de s'attarder plus avant sur ce grief.
7.
Invoquant finalement l'art. 29 al. 1 Cst., l'art. 6 par. 1 CEDH et l'art. 14 ch. 3 let. c Pacte ONU II, les recourants se plaignent de ce que les juges cantonaux ont gravement violé le principe de célérité en mettant presque trois ans pour statuer sur leur recours.
7.1. Les art. 6 par. 1 CEDH et 14 Pacte ONU II ne sont pas applicables dans les procédures fiscales qui n'ont pas un caractère pénal (ATF 140 68 consid. 9.2 p. 74; arrêt 2C_741/2017 du 26 janvier 2017 consid. 9.1).
7.2. En vertu de l'art. 29 al. 1 Cst., toute personne a droit, dans une procédure judiciaire ou administrative, à ce que sa cause soit traitée équitablement et jugée dans un délai raisonnable. Selon la jurisprudence, il appartient au justiciable, en application du principe de la bonne foi (art. 5 al. 3 Cst.), d'entreprendre ce qui est en son pouvoir pour que l'autorité fasse diligence, que ce soit en l'invitant à accélérer la procédure ou en recourant, le cas échéant, pour retard injustifié, car il serait contraire à ce principe qu'un justiciable puisse valablement soulever ce grief devant l'autorité de recours, alors qu'il n'a entrepris aucune démarche auprès de l'autorité précédente, afin de remédier à cette situation. En outre, dès que l'autorité a statué, le justiciable perd en principe tout intérêt juridique à faire constater un éventuel retard à statuer (cf. <ref-ruling> consid. 2.1 p. 500; <ref-ruling> consid. 5.2 p. 332; arrêt 2C_1014/2013 du 22 août 2014 consid. 7.1 et 7.2 non publiés in <ref-ruling> mais in Pra 2015/54 p. 424).
7.3. En l'occurrence, l'on peut certes s'étonner du temps mis par l'autorité précédente à statuer dans un litige qui n'apparaît pas particulièrement complexe. Cela étant, il ne semble pas - et les recourants ne le soutiennent du reste pas - qu'ils aient agi auprès de l'autorité précédente pour lui demander de faire diligence, pas plus qu'ils ne se sont plaints d'un retard injustifié auprès de la Cour de céans (cf. art. 94 LTF). Ils n'expliquent pas non plus en quoi ils auraient encore un intérêt à faire constater un éventuel retard à statuer maintenant que la décision a été rendue. La critique est donc infondée.
8.
Les considérants qui précèdent conduisent au rejet du recours. Succombant, les recourants supporteront les frais judiciaires, solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'y a pas lieu d'allouer de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Les causes 2C_1080/2016 et 2C_1081/2016 sont jointes.
2.
Le recours est irrecevable en ce qui concerne l'impôt fédéral direct 2011 et 2012.
3.
Le recours est rejeté en ce qui concerne l'impôt cantonal et communal 2011 et 2012.
4.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge des recourants, solidairement entre eux.
5.
Le présent arrêt est communiqué aux recourants, au Service des contributions de la République et canton de Neuchâtel, au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, et à l'Administration fédérale des contributions.
Lausanne, le 18 décembre 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Vuadens