Faits : A. Depuis février 1997, A.A._ a exercé une activité lucrative indépendante en qualité de médecin-anesthésiste à D._. Domiciliée alors avec son mari, B.A._, dans le canton de Berne, elle a régulièrement déclaré les revenus afférents à son activité dans ce canton, qui a effectué une répartition intercantonale. Les époux B.A._ et A.A._ sont établis à C._ (NE) depuis l'été 2001. B. Par une décision de taxation rectificative définitive datée du 28 décembre 2003, le Service cantonal des contributions de la République et canton de Neuchâtel (ci-après: le Service cantonal) "a taxé les époux en reprenant les chiffres du canton de Berne pour les années 1997 et 1998 par une seule taxation 1998 et regroupant 690 jours" (arrêt attaqué p. 2 par. 2). Cette taxation a été contestée pour divers motifs concernant notamment la date de son envoi, le fait qu'elle n'avait pas été reçue et que des poursuites avaient été intentées avant l'envoi de la facture. Elle a été notifiée à nouveau au mandataire des contribuables le 18 avril 2005. Par arrêt du 4 décembre 2008, le Tribunal administratif de la République et canton de Neuchâtel (ci-après: le Tribunal administratif; actuellement la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel, ci-après: le Tribunal cantonal; cf. arrêt 2C_704/2011 du 4 novembre 2011 consid. 1.3), confirmant un jugement du Tribunal fiscal du même canton du 3 mars 2008 (ci-après: le Tribunal fiscal), a considéré que le droit de procéder à la taxation de l'année 1998 n'était pas prescrit et renvoyé la cause au Tribunal fiscal pour qu'il examine les bases chiffrées de la taxation. Le 28 septembre 2010, le Tribunal fiscal a annulé la taxation cantonale 1998 et la décision sur réclamation en ce qui concernait les facteurs retenus pour 1998. Il a pour le reste confirmé l'exactitude des bases de taxation pour 1997 et constaté que la question de la prescription avait été réglée par le Tribunal administratif. Il a renvoyé le dossier au Service cantonal pour qu'il effectue la taxation au sens des considérants en tenant compte, le cas échéant, d'un motif de taxation intermédiaire dans le chef de l'époux pour l'année 1998. Cet arrêt n'a pas été contesté. Le 1er juillet 2013, le Service cantonal a notifié une nouvelle taxation définitive pour la période du 1er février 1997 au 31 décembre 1998 portant sur 690 jours sans changement par rapport à celle rendue initialement. Les époux A._ ont formé opposition en faisant valoir que la taxation de deux années sous la dénomination 1998 était irrégulière et que l'année 1997 devait faire l'objet d'une taxation séparée, dès lors que le droit de taxer était prescrit. Leur réclamation a été rejetée le 9 août 2013. Les époux A._ ont recouru auprès du Tribunal cantonal. Le Service cantonal a exposé avoir égaré son dossier. Par arrêt du 26 septembre 2014, le Tribunal cantonal a rejeté le recours dans la mesure de sa recevabilité. C. A l'encontre de l'arrêt du 26 septembre 2014, A.A._ et B.A._ forment un recours en matière de droit public auprès du Tribunal fédéral. Ils concluent principalement à l'annulation de l'arrêt attaqué et à ce qu'il soit constaté que le Service des contributions est déchu de son droit de taxer, subsidiairement à ce qu'il soit constaté que la prescription est acquise pour la créance fiscale ayant trait à la période du 1er février 1997 au 31 décembre 1997, plus subsidiairement encore au renvoi de la cause à l'autorité intimée pour nouvelle décision au sens des considérants. Le Tribunal cantonal n'a pas formulé d'observations, se référant aux motifs de l'arrêt attaqué et concluant au rejet du recours. Au terme de ses déterminations, le Service cantonal propose le rejet du recours. L'Administration fédérale des contributions a renoncé à formuler des observations, l'objet du litige concernant l'impôt direct cantonal et communal.