Sachverhalt:
A.
A.A._ und B.A._ kauften am 17. Juli 2003 ein Wohnhaus mit Garten zu einem Preis von Fr. 1'220'000.-- und liessen es in den Jahren 2004-2006 durch eine Generalunternehmerin umbauen. Am 23. Januar 2004 wurde vereinbart, dass die Generalunternehmerin die gesamte Sanierung gemäss Baubeschrieb zur Ausführung übernahm und hierfür ein pauschales Entgelt von Fr. 930'000.-- erhielt, das in drei Raten in Rechnung gestellt wurde (Fr. 400'000.-- am 10. September 2004, Fr. 250'000.-- am 14. Januar 2005, Fr. 280'000.-- am 24. Juni 2005). Die Generalunternehmerin beauftragte ihrerseits verschiedene Bauhandwerker mit der Ausführung der erforderlichen Arbeiten. Daneben hatten die Beschwerdeführer eigene Liegenschaftenkosten von Fr. 6'656.-- (2004) und Fr. 82'758.-- (2005).
Am 28. August 2009 ermittelte ein Experte der Steuerverwaltung des Kantons Bern anhand der Art der ausgeführten Arbeiten, in welchem Umfang die Auslagen der Eheleute als Unterhaltskosten abzugsfähig waren. Gestützt darauf liess die Steuerverwaltung für das Jahr 2004 einen Abzug für Unterhaltskosten in der Höhe von Fr. 372'389.-- und für das Jahr 2005 einen solchen in der Höhe von Fr. 72'646.-- zu.
Im Steuerjahr 2004 resultierte ein Minuseinkommen von Fr. 1'203.-- (direkte Bundessteuer) bzw. von Fr. 22'255.-- (Staats- und Gemeindesteuern). Dementsprechend wurden die Eheleute A._ mit einem steuerbaren Einkommen von Fr. 0. -- (direkte Bundessteuer sowie Staats- und Gemeindesteuern) veranlagt.
Für das Steuerjahr 2005 wurden A.A._ und B.A._ von der Steuerverwaltung des Kantons Bern am 10. November 2009 mit einem steuerbaren Einkommen von Fr. 327'000.-- (direkte Bundessteuer) und von Fr. 308'500.-- (Kantons- und Gemeindesteuern) veranlagt. Eine Einsprache der Eheleute wurde am 21. November 2011 abgewiesen.
B.
Am 20. Dezember 2011 gelangten A.A._ und B.A._ an die Steuerrekurskommission des Kantons Bern, welche mit Entscheiden vom 16. Dezember 2014 die Beschwerde (direkte Bundessteuer) und den Rekurs (Kantons- und Gemeindesteuern) abwies.
Am 16. Januar 2015 erhoben die Eheleute A._ Verwaltungsgerichtsbeschwerde, die am 16. August 2016 abgewiesen wurde. Das Verwaltungsgericht erwog, dass die Unterhaltskosten - mit Ausnahme der eigenen Kosten im Jahr 2004 von Fr. 6'656.-- - zwar erst im Jahr 2005 hätten abgezogen werden können. Weil durch die Verteilung des Abzugs auf die Steuerjahre 2004 und 2005 die Steuerschuld insgesamt geringer ausfiel als bei einem gesamthaften Abzug der Kosten erst im Jahr 2005, bestätigte das Verwaltungsgericht jedoch die angefochtene Veranlagung 2005.
C.
Die Eheleute A._ haben am 16. September 2016 Beschwerde in öffentlichen-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Sie beantragen, das Urteil des Verwaltungsgerichts für die Periode 2005 aufzuheben und das steuerbare Einkommen mit Fr. 0.-- (direkte Bundessteuer sowie Staats- und Gemeindesteuern) festzusetzen.
Die Steuerverwaltung des Kantons Bern, das Verwaltungsgericht und die Eidgenössische Steuerverwaltung (diese nur hinsichtlich der direkten Bundessteuer) beantragen die Abweisung der Beschwerde.

Erwägungen:
I. Prozessuales
1.
1.1. Die Vorinstanz hat die Verfahren betreffend die direkte Bundessteuer sowie die kantonalen Steuern vereinigt und ein einziges Urteil gefällt. Die Steuerpflichtigen fechten dieses Urteil mit einer einzigen Beschwerdeschrift an. Das Bundesgericht hat zwei Verfahren eröffnet, da sowohl die direkte Bundessteuer als auch die kantonalen Steuern streitig sind. Es behält sich aber vor, die beiden Verfahren zu vereinigen und nur ein Urteil zu fällen (vgl. <ref-law> i.V.m. <ref-law>; <ref-ruling> E. 1.2 S. 465), sofern es um denselben Sachverhalt geht und sich bundes- und kantonalrechtlich dieselben Rechtsfragen stellen. Dies ist hier der Fall, weswegen es sich rechtfertigt, die Verfahren 2C_871/2016 und 2C_872/2016 zu vereinigen.
1.2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist unter Einhaltung der gesetzlichen Frist (<ref-law>) und Form (<ref-law>) eingereicht worden und richtet sich gegen einen Endentscheid (<ref-law>) einer letzten, oberen kantonalen Instanz (<ref-law>) in einer Angelegenheit des öffentlichen Rechts (<ref-law> i.V.m. Art. 73 ff. des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [Steuerharmonisierungsgesetz, StHG; SR 642.14] und Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11]). Die Beschwerdeführer sind durch das angefochtene Urteil besonders berührt und haben ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung (<ref-law>). Auf die Beschwerde ist einzutreten.
1.3. Mit der Beschwerde können Rechtsverletzungen nach Art. 95 und Art. 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es prüft die Anwendung des harmonisierten kantonalen Steuerrechts durch die kantonalen Instanzen gleich wie Bundesrecht mit freier Kognition. In den Bereichen, in denen das Steuerharmonisierungsgesetz den Kantonen einen gewissen Gestaltungsspielraum belässt oder keine Anwendung findet, beschränkt sich die Kognition des Bundesgerichts auf Willkür (<ref-ruling> E. 2 S. 210; <ref-ruling> E. 3.1 S. 205 f.; Urteil 2C_95/2013 bzw. 2C_96/2013 vom 21. August 2013 E. 1.6, in: StE 2013 B 22.2.28).
1.4. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (<ref-law>; <ref-ruling> E. 10.1 S. 445; <ref-ruling> E. 1.6 S. 280 f.). Die Erhebung einer Sachverhaltsrüge setzt zudem voraus, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend ist (<ref-law>).
II. Direkte Bundessteuer
2.
2.1. Anwendbar ist grundsätzlich das während der massgeblichen Steuerperiode in Kraft stehende Recht (vgl. u.a. das Urteil 2C_851/2015 vom 3. Juni 2016 E. 4.3 in: StR 71/2016 S. 858 m.w.H.). Das ist hier im Wesentlichen Art. 32 Abs. 2 erster Satz DBG in der bis Ende 2009 gültigen Fassung (AS 2009 1515). Gemäss dieser Vorschrift können bei Liegenschaften im Privatvermögen die Unterhaltskosten, die Versicherungsprämien und die Kosten der Verwaltung durch Dritte von den steuerbaren Einkünften abgezogen werden. <ref-law> bestimmt weiter: Nicht abziehbar sind die übrigen Kosten und Aufwendungen, insbesondere die Aufwendungen für die Anschaffung, Herstellung oder Wertvermehrung von Vermögensgegenständen.
2.1.1. Nach Art. 1 Abs. 1 zweiter Satz der Verordnung des Bundesrats vom 24. August 1992 über den Abzug der Kosten von Liegenschaften des Privatvermögens bei der direkten Bundessteuer (Liegenschaftskostenverordnung; SR 642.116, in der bis Ende 2009 gültigen Fassung, AS 2009 1517) bzw. nach Art. 1 Abs. 2 lit. a der Verordnung der Eidgenössischen Steuerverwaltung vom 24. August 1992 über die abziehbaren Kosten von Liegenschaften des Privatvermögens bei der direkten Bundessteuer (SR 642.116.2, in der bis Ende 2009 gültigen Fassung, AS 2009 1519) waren nicht abziehbar die Kosten, die ein Steuerpflichtiger zur Instandstellung einer neuerworbenen, vom bisherigen Eigentümer vernachlässigten Liegenschaft kurz nach der Anschaffung aufwenden musste. Diese Regelungen entsprachen der mit BGE 99 lb 362 eingeleiteten, in <ref-ruling> präzisierten und seit dem 1. Januar 2010 abgeschafften (AS 2009 1515 ff.) so genannten Dumont-Praxis.
2.1.2. Damit sollte eine steuerpflichtige Person, die eine im Unterhaltvernachlässigte Liegenschaft kaufte, um sie instandzustellen, steuerlich nicht besser gestellt werden als derjenige Steuerpflichtige, der ein bereits renoviertes Grundstück erwarb (Urteil 2A.480/2004 vom 2. Februar 2005 E. 2.1 = ASA 75, 488 S. 491 f. mit Hinweis). Die Frage, wann eine Liegenschaft in diesem Sinne als vernachlässigt galt, war nach der bundesgerichtlichen Praxis anhand der konkreten Umstände zu beantworten. Massgebliche Indizien waren namentlich das Alter des erworbenen Gebäudes, die Art und der Umfang der vorgenommenen Arbeiten, das Verhältnis zwischen Renovationsaufwand und Erwerbspreis sowie die Höhe des Kaufpreises (Urteile 2C_348/2010 vom 10. Oktober 2010 E. 2.1; 2C_595/2009 vom 14. Dezember 2009 E. 2.2; 2C_525/2008 vom 23. Juli 2008 E. 4; 2A.71/2006 vom 21. Juni 2006 E. 3.1.1; 2A.480/2004 vom 2. Februar 2005 E. 2.2 ASA 75, 488 S. 492; 2A.389/2003 vom 10. März 2004 E. 2). Auf diese Indizien stützten sich auch die meisten Kantone (vgl. den Anhang zum Bericht der Kommission für Wirtschaft und Abgaben des Nationalrates vom 3. September 2007 betreffend die parlamentarische Initiative 04.457 zur Einschränkung der Dumont-Praxis, BBI 2007 7993 ff. insbesondere S. 8006: "Auswertung der Umfrage der SSK in den Kantonen betr. Anwendung der 'Dumont-Praxis'") sowie die herrschende Lehre (vgl. DONATUS HÜRZELER, Unterhalt oder wertvermehrende Aufwendungen? Änderung der «Dumont-Praxis», Berner Notar 1998, S. 256 ff., insbesondere S. 257 f.; P ETER LOCHER, Kommentar zum DBG; 1. Teil, Therwil/Basel 2001, N 49 zu <ref-law>; F ELIX RICHNER/WALTER FREI/ STEFAN KAUFMANN/HANS ULRICH MEUTER, Handkommentar zum DBG, 2. Aufl. Zürich 2009, N 65 zu <ref-law>).
2.1.3. Lag eine in diesem Sinne vernachlässigte Liegenschaft vor, so konnten nur die Instandhaltungskosten, d.h. die Auslagen zur Beseitigung von Schäden, die seit dem Erwerb eingetreten waren, sowie 50 Prozent für Massnahmen zur rationellen Energieverwendung (vgl. Art. 8 der Liegenschaftskostenverordnung) abgezogen werden, im Gegensatz zu den kurz nach der Anschaffung angefallenen Instandstellungskosten (vgl. BBI 2007 7997; siehe zu dieser gesamten Erwägung 2.1 auch das Urteil 2C_851/2012 vom 19. Dezember 2012 E. 2.1).
2.2. Die Beweislast für steuerbegründende und -erhöhende Tatsachen trägt gemäss der Grundregel die Steuerbehörde, der Pflichtige dagegen diejenige für steueraufhebende oder -mindernde Tatsachen trägt (vgl. u.a. <ref-ruling> E. 3.5 S. 252 m.w.H.), so für den einkommenssteuerlichen Abzug von Unterhaltskosten.
3.
3.1. Unbestritten ist vorliegend, dass die Umbauarbeiten innerhalb von fünf Jahren nach Erwerb der Liegenschaft abgeschlossen waren. Weil vorliegend das Steuerjahr 2005 zu beurteilen ist, kommt die per Ende 2009 abgeschaffte Dumont-Praxis noch zur Anwendung.
3.2. Das Verwaltungsgericht erwog, dass die Umbauarbeiten gemäss Generalunternehmervertrag ausdrücklich die "komplette" Sanierung des Wohnhauses vorsahen. Es wurden Küche, Badezimmer, Fenster und ein Teil der Bodenbeläge ersetzt, Spenglerarbeiten ausgeführt sowie Decken, Wände und die gesamte Gebäudehülle renoviert und die Fassade neu isoliert. Zudem wurden ein neuer Dachaufbau erstellt und im Obergeschoss eine Dampfdusche eingebaut. Alle Indizien, wie Art und Umfang der Renovationsarbeiten und Höhe der Umbaukosten, sprächen dafür, dass die streitbetroffene Liegenschaft im Sinne der Rechtsprechung vernachlässigt gewesen sei, sodass sich die Abziehbarkeit der Aufwendungen für den nachgeholten Unterhalt nach der Dumont-Praxis gerichtet habe.
3.3. Diese für das Bundesgericht verbindlichen Sachverhaltsfeststellungen werden von den Beschwerdeführern gar nicht bestritten. Sie wehren sich trotzdem gegen die Anwendung der Dumont-Praxis und behaupten, dass sie nichts Neues oder Anderes geschaffen hätten als bereits vorhanden war. Das Vorhandene sei zudem sehr gut unterhalten gewesen. Der Verkäufer der Liegenschaft habe die Liegenschaft selbst bewohnt, sei vermögend und habe augenfällig gut zum Haus geschaut. Die Beschwerdeführer sind überzeugt, dass die Liegenschaft vor der Renovation im Unterhalt nicht vernachlässigt war und dass viele Kaufinteressenten ohne Renovationen vorzunehmen in das Haus eingezogen wären.
Diese - unbewiesenen - Ausführungen der Beschwerdeführer sind weder geeignet, die Feststellungen des Sachverhalts durch die Vorinstanz als offensichtlich unrichtig erscheinen zu lassen, noch vermögen sie die überzeugende rechtliche Würdigung der Vorinstanz zu erschüttern, wonach es sich beim Wohnobjekt der Beschwerdeführer um eine stark vernachlässige Liegenschaft im Sinne der Rechtsprechung zur Dumont-Praxis handelte.
Zu fragen wäre eher, ob die Steuerverwaltung zu grosszügig verfuhr, als sie trotz Anwendung der Dumont-Praxis Unterhaltskosten von Fr. 445'035.-- nach <ref-law> zum Abzug zuliess. Dies zu beurteilen, ist indes nicht Gegenstand des bundesgerichtlichen Verfahrens.
4.
4.1. Die kantonale Steuerverwaltung liess Kostenanteile von Fr. 372'389.-- im Jahr 2004 und von Fr. 72'646.-- im Jahr 2005 als Unterhaltskosten zum Abzug zu. Das beruhte auf dem Gutachten des beigezogenen Experten (vgl. oben Sachverhalt/A.) und stimmt gesamthaft mit den gesetzlichen Grundlagen sowie der bundesgerichtlichen Rechtsprechung (vgl. oben E. 2.1) überein. Betragsmässig wurden diese Abzüge im kantonalen Rechtsmittelverfahren bestätigt (vgl. zu den Einzelheiten dieses Verfahrens oben Sachverhalt/B.). Das Verwaltungsgericht erwog allerdings, dass die Unterhaltskosten - mit Ausnahme der eigenen Kosten im Jahr 2004 von Fr. 6'566.-- - erst im Jahr 2005 hätten abgezogen werden können, was unbestritten blieb.
4.2. Einkommensmindernd wirkten sich die im Jahr 2004 gewährten Unterhaltskosten von Fr. 372'389.-- im Umfang von Fr. 371'186.-- aus. Letztere Kosten können daher im Jahr 2005 nicht nochmals zum Abzug gewährt werden, auch wenn sie eigentlich dieser Periode zuzuordnen sind. Eine doppelte Berücksichtigung derselben Kosten ist ausgeschlossen. Der Restbetrag von Fr. 1'203.-- blieb aufgrund des resultierenden Minuseinkommens im Steuerjahr 2004 indes unberücksichtigt. Über dessen Abzug wurde im Jahr 2004 somit nicht rechtskräftig entschieden. Die Beschwerdeführer konnten sich im Veranlagungsverfahren diesbezüglich auch nicht zur Wehr setzen, weil sie damals kein Rechtsschutzinteresse an der Feststellung der steuerlichen Abziehbarkeit des Überschusses gehabt hätten. In der entsprechenden Höhe von Fr. 1'203.-- stehen dem Abzug im Steuerjahr 2005 somit keine formalen Hindernisse entgegen. Da der Abzug vor Bundesgericht auch materiell unter den Verfahrensbeteiligten unstrittig ist, ist er zusätzlich zu gewähren.
Dass die Beschwerdeführer dadurch eine günstigere Steuerlast tragen als nach der vom Verwaltungsgericht favorisierten Verteilung der Kosten auf die Jahre 2004 (im Betrag von Fr. 6'566.--) und 2005 (alle weiteren Kosten), ist ihnen nicht anzulasten.
4.3. Die Beschwerdeführer sprechen sich dafür aus, im Steuerjahr 2005 die beiden im Jahr 2005 bezahlten Teil-Rechnungen über Fr. 280'000.-- und Fr. 250'000.--, abzüglich eines wertvermehrenden Anteils von Fr. 60'000.--, sowie selbst getätigte Auslagen von Fr. 82'758.-- - insgesamt demnach einen Betrag von Fr. 552'758.-- - zum Abzug zuzulassen. Im Eventualstandpunkt beantragen sie den Abzug der Hälfte dieses Betrages (Fr. 276'379.--).
Nach dem bereits Ausgeführten wurden indes in den beiden Jahren 2004 und 2005 zu Recht zusammen nicht mehr als Kosten von Fr. 445'035.-- als abziehbarer Liegenschaftenunterhalt anerkannt, weshalb nach den bereits im Jahr 2004 einkommensmindernd berücksichtigten Fr. 371'186.-- im Jahr 2005 für den Antrag der Beschwerdeführer nur Raum bleibt, soweit er die restlichen Fr. 73'849.-- betrifft. Nebst den im Jahr 2005 bereits zugesprochenen Unterhaltskosten von Fr. 72'646.-- ist somit der bereits erwähnte zusätzliche Kostenanteil von Fr. 1'203.-- steuerlich abziehbar. Das steuerbare Einkommen von Fr. 327'008.-- ist um diesen Betrag auf Fr. 325'805.-- zu reduzieren.
Darüber hinaus gelingt es den Beschwerdeführern nicht aufzuzeigen, warum die Rechtsauffassung der Vorinstanz unzutreffend sein soll. Insbesondere ist nicht ersichtlich, inwiefern diese die Rechtskraft der Veranlagung 2004 missachtet und daher " die Steuergesetze des Bundes (DBG und StHG) " verletzt haben soll.
4.4. Diese Erwägungen führen zur teilweisen Gutheissung der Beschwerde hinsichtlich der direkten Bundessteuer.
III. Kantons- und Gemeindesteuern
5.
Die Dumont-Praxis wurde im Kanton Bern zwar bereits per 1. Januar 2009 abgeschafft (mittels Aufhebung von Art. 1 Abs. 3 der Verordnung über die Unterhalts-, Betriebs- und Verwaltungskosten von Grundstücken vom 12. November 1980 [VUBV; BGS 661.312.51], findet jedoch in der vorliegenden Steuerperiode 2005 auch für die kantonalen Steuern noch Anwendung. Im Übrigen entsprechen Art. 9 Abs. 3 StHG [in der Fassung in Kraft bis am 31. Dezember 2009] und Art. 36 Abs. 1 des Steuergesetzes des Kantons Bern vom 21. Mai 2000 (StG/BE; BSG 661.11) betreffend Liegenschaftenunterhaltskosten inhaltlich <ref-law>.
Es kann daher vollumfänglich auf die Ausführungen zur direkten Bundessteuer verwiesen werden. Im Steuerjahr 2004 wirkten sich insgesamt Unterhaltskosten von Fr. 350'134.-- einkommensmindernd aus, weshalb der Abzug in diesem Umfang konsumiert ist. Abziehbar ist von den in den Jahren 2004 und 2005 gesamthaft zu berücksichtigenden Unterhaltskosten von Fr. 445'035.-- demnach im Steuerjahr 2005 noch ein Betrag von Fr. 94'901.--. Das sind Fr. 22'255.-- mehr gegenüber dem von den Vorinstanzen bereits gewährten Abzug von Fr. 72'646.--.
Die Beschwerde ist somit auch hinsichtlich der Kantons- und Gemeindesteuern teilweise gutzuheissen. Das steuerbare Einkommen von Fr. 308'592.-- ist um Fr. 22'255.-- auf Fr. 286'337.-- zu reduzieren.
IV. Kosten- und Entschädigungsfolgen
6.
Bei diesem Ausgang des Verfahrens sind die Kosten den überwiegend unterliegenden Beschwerdeführern zu 9/10 und der Steuerverwaltung des Kantons Bern zu 1/10 aufzuerlegen (<ref-law>). Entsprechend sind auch die Kosten des kantonalen Verfahrens neu zu verlegen. Eine Parteientschädigung ist den in keiner Verfahrensphase anwaltlich vertretenen Beschwerdeführern nicht zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Verfahren 2C_871/2016 und 2C_872/2016 werden vereinigt.
2.
Die Beschwerde betreffend die direkte Bundessteuer (2C_872/2016) wird teilweise gutgeheissen. Die Beschwerdeführer werden mit einem steuerbaren Einkommen von Fr. 325'800.-- veranlagt.
3.
Die Beschwerde betreffend die Kantons- und Gemeindesteuern (2C_871/2016) wird teilweise gutgeheissen. Die Beschwerdeführer werden mit einem steuerbaren Einkommen von Fr. 286'300.-- und einem steuerbaren Vermögen von Fr. 128'000.-- veranlagt.
4.
Die Gerichtskosten von Fr. 4'500.-- werden zu Fr. 4'050.-- den Beschwerdeführern unter solidarischer Haftbarkeit und zu Fr. 450.-- der kantonalen Steuerverwaltung Bern auferlegt.
5.
Es wird keine Parteientschädigung zugesprochen.
6.
Die Sache wird zur Neufestlegung der Kostenfolgen des kantonalen Verfahrens an das Verwaltungsgericht des Kantons Bern zurückgewiesen.
7.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Bern und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 11. Juli 2017
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Matter