Erwägungen:
1.
1.1. Die Eheleute A.A._ und B.A._ geb. C._ (nachfolgend: die Steuerpflichtigen) hatten im hier interessierenden Steuerjahr 2004 ihren steuerrechtlichen Wohnsitz in W._/BE. Der Ehemann führte die Einzelunternehmung "Immobilien X._", die er am 17. Februar 2004 gegründet hatte. Zudem beherrschte er die Y._ AG (heute: Y._ AG in Liq.), die im Handel mit Lebensmitteln jeglicher Art tätig war. Im Weiteren war er Eigentümer eines bebauten Grundstücks an der H._strasse xxx in W._/BE (W._-Gbbl. Nr. xxx), in welchem sich der Sitz der AG befand. Alsdann erwarb er am 30. Dezember 2004 zwei Mehrfamilienhäuser am G._weg xxx und xxx in V._/BE (U._-Gbbl. Nr. xxx und xxx), die er vermietete. Aufwand und Ertrag aus der Vermietung verbuchte er in der Einzelunternehmung. Nach Abschreibungen von Fr. 92'500.-- auf den Grundstücken entstand dort im Jahr 2004 ein Verlust von Fr. 16'000.--. Vom Grundstück U._-Gbbl. Nr. xxx liess der Steuerpflichtige längere Zeit später einen Teil abparzellieren, um darauf ein Einfamilienhaus zu erstellen und dieses zu veräussern (Gesamtbauentscheid vom 24. November 2008).
1.2. Trotz Mahnung unterliessen es die Steuerpflichtigen, die Steuererklärung 2004 einzureichen. Die Steuerverwaltung des Kantons Bern veranlagte sie deshalb am 20. Februar 2006 für die Staats- und Gemeindesteuern des Kantons Bern und die direkte Bundessteuer nach pflichtgemässem Ermessen. Dagegen erhoben die Steuerpflichtigen Einsprache, worin sie ausführten, der Ehemann gehe nicht einer unselbständigen, sondern einer selbständigen Erwerbstätigkeit nach. Dementsprechend sei der erzielte Aufwandüberschuss zum Abzug zuzulassen. Die Einsprache blieb erfolglos (Entscheide vom 7. Juli 2010), ebenso wie die Rechtsmittel an die Steuerrekurskommission des Kantons Bern (Entscheide vom 25. März 2014) und an das Verwaltungsgericht des Kantons Bern (Entscheid der Verwaltungsrechtlichen Abteilung vom 12. Juli 2016).
1.3. Mit Eingabe vom 8. August 2016 erheben die Steuerpflichtigen, die ohne Vertretung handeln, beim Bundesgericht "Beschwerde". Sie beantragen sinngemäss, der angefochtene Entscheid sei aufzuheben und die Aktivitäten im Zusammenhang mit der Vermietung seien als selbständige Erwerbstätigkeit zu qualifizieren. Der Abteilungspräsident als Instruktionsrichter (Art. 32 Abs. 1 BGG [SR 173.110]) hat von Instruktionsmassnahmen abgesehen.
2.
2.1. Die sich stellende Rechtsfrage ist im Bundesrecht und im harmonisierten Steuerrecht des Kantons Bern in gleicher Weise geregelt. Die beiden Verfahren können daher vereinigt und die Beschwerde in einem einzigen Urteil erledigt werden (vgl. Art. 71 BGG i. V. m. Art. 24 BZP [SR 273]; Urteil 2C_372/2016 / 2C_374/2016 vom 7. Juni 2016 E. 1.1).
2.2. Die Beschwerde richtet sich gegen den verfahrensabschliessenden Entscheid einer letzten kantonalen Instanz in einer Angelegenheit des öffentlichen Rechts. Die Voraussetzungen der Beschwerde in öffentlich-rechtlichen Angelegenheiten liegen vor (Art. 82 lit. a, Art. 83 e contrario, Art. 86 Abs. 1 lit. d und Abs. 2, Art. 89 Abs. 1, Art. 90 und Art. 100 Abs. 1 BGG i. V. m. Art. 146 DBG [SR 642.11] und Art. 73 StHG [SR 642.14]).
2.3. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundes- und Völkerrecht gerügt werden (Art. 95 lit. a und b BGG). Bei der Prüfung verfügt das Bundesgericht über uneingeschränkte (volle) Kognition und wendet es das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG; BGE 140 III 86 E. 2 S. 88). Die Verletzung von Grundrechten und von kantonalem (einschliesslich kommunalem) und interkantonalem Recht prüft das Bundesgericht dagegen nur, falls eine solche Rüge in der Beschwerde überhaupt vorgebracht und ausreichend begründet worden ist (qualifizierte Rüge- und Begründungspflicht gemäss Art. 106 Abs. 2 BGG; BGE 140 IV 57 E. 2.2 S. 60).
2.4. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die tatsächlichen Feststellungen der Vorinstanz, wozu auch die Beweiswürdigung zählt (BGE 141 IV 369 E. 6.3 S. 375), nur berichtigen oder ergänzen, soweit sie offensichtlich unrichtig - das heisst willkürlich - sind oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruhen (Art. 105 Abs. 2 BGG; BGE 142 V 2 E. 2 S. 5). Auf Kritik an den tatsächlichen Feststellungen der Vorinstanz, die diesen Anforderungen nicht genügt, geht das Bundesgericht nicht ein (Art. 97 Abs. 1 BGG; BGE 141 V 439 E. 1.2 S. 442).
3.
3.1. Streitig und zu prüfen ist ausschliesslich, ob die vom Ehemann im Steuerjahr 2004 rund um die Grundstücke entfalteten Aktivitäten steuerlich als selbständige Erwerbstätigkeit zu qualifizieren sind.
3.2.
3.2.1. Die selbständige Erwerbstätigkeiteiner natürlichen Person (Art. 18 Abs. 1 DBG) besteht in einem Vorgehen, mit dem die natürliche Person auf eigenes Risiko, unter Einsatz der Produktionsfaktoren Arbeit, Kapital und gegebenfalls Boden, in einer von ihr frei gewählten Arbeitsorganisation, dauernd oder vorübergehend, haupt- oder nebenberuflich, in jedem Fall aber mit der Absicht der Gewinnerzielung am Wirtschaftsverkehr teilnimmt (BGE 125 II 113 E. 5b S. 120 [DBG]; 138 II 251 E. 2.4.2 S. 256 f. [MWSTG; SR 641.20]; 134 V 250 E. 3.1 S. 252 f. [AHVG; SR 831.10]). Die verschiedenen Gesichtspunkte der selbständigen Erwerbstätigkeit können nicht abschliessend umschrieben werden. Die Prüfung ist deshalb im konkreten Einzelfall aufgrund einer umfassenden Würdigung der tatsächlichen Umstände vorzunehmen. Die einzelnen Aspekte dürfen dabei nicht isoliert betrachtet werden und können auch in unterschiedlicher Intensität auftreten (Urteil 2C_156/2015 vom 5. April 2016 E. 2.2.4, in: ASA 84 S. 832, StE 2016 B 23.2 Nr. 51).
3.2.2. Der gewerbsmässige Grundstückhandel bildet eine Sonderform der selbständigen Erwerbstätigkeit. Die bundesgerichtliche Praxis hat hierzu branchenspezifische Kriterien entwickelt. Solche bestehen im systematischen bzw. planmässigen Vorgehen, in der Häufigkeit der Transaktionen, der Nähe des Grundstückhandels zur hauptberuflichen Tätigkeit der steuerpflichtigen Person, im Einsatz spezieller Fachkenntnisse, der (kurzen) Besitzesdauer, dem Einsatz erheblichen Fremdkapitals zur Finanzierung der Transaktionen oder der Vornahme der Transaktionen im Rahmen einer Personengesellschaft (BGE 125 II 113 E. 6a S. 124). Auch eine einmalige Tätigkeit kann sich unter Umständen als planmässig herausstellen (PETER LOCHER, Kommentar zum DBG, I. Teil, 2001, N. 16 zu Art. 18 DBG; XAVIER OBERSON, Droit fiscal suisse, 4. Aufl. 2012, § 7 N. 44, mit Hinweis auf BGE 104 Ib 164; zit. Urteil 2C_156/2015 E. 2.2.6).
3.3.
3.3.1. Die tatsächlichen Feststellungen der Vorinstanz sind für das Bundesgericht verbindlich (Art. 105 Abs. 1 BGG; vorne E. 2.4), zumal keine tatsächlichen Rügen vorliegen, die dem qualifizierten Rüge- und Begründungserfordernis genügen (Art. 106 Abs. 2 BGG; vorne E. 2.3). Dementsprechend steht fest, dass der Steuerpflichtige im Steuerjahr 2004 Mehrheitsaktionär der damaligen Y._ AG war und die Einzelunternehmung "Immobilien X._" führte. Diese hatte er am 17. Februar 2004 gegründet (vorne E. 1.1), wobei eine eigentliche kommerzielle Tätigkeit, zumindest eine solche, die über die Vermietung hinausreicht, nicht ersichtlich ist. Was den Bereich der Grundstücke betrifft, war der Steuerpflichtige zunächst Eigentümer einer Liegenschaft, die er ganz oder teilweise an die Y._ AG vermietete. Kurz vor Jahresende erst, am 30. Dezember 2004, kamen die beiden Mehrfamilienhäuser hinzu (auch dazu vorne E. 1.1). Die drei Grundstücke scheinen in der Einzelunternehmung aktiviert worden zu sein. Es kann darauf geschlossen werden, nachdem die Ausführungen der Steuerpflichtigen in diese Richtung zielen und die Vorinstanz feststellte, "Aufwand und Ertrag aus der Vermietung der Liegenschaften [seien] in die Erfolgsrechnung seines Einzelunternehmens [ge]flossen".
3.3.2. Die Vorinstanz hat Gesetz und Praxis zur Frage der selbständigen Erwerbstätigkeit und des gewerbsmässigen Grundstückhandels bundesrechtskonform ausgelegt und angewendet. Mit Blick auf das Gesagte - Vermietung einer Liegenschaft während des ganzen Jahres, Erwerb zweier, ebenso zur Vermietung bestimmter Mehrfamilienhäuser kurz vor Jahresende - ist in der Tat nichts nachgewiesen, was auf den zielgerichteten Einsatz der Produktionsfaktoren Arbeit, Kapital und Boden im Sinne einer kommerziellen, über die blosse Vermögensverwaltung hinausreichende Tätigkeit schliessen liesse. Der eigentliche Handel mit Grundstücken führt praxisgemäss bald zur Annahme einer selbständigen Erwerbstätigkeit. In einem solchen Fall tritt die steuerpflichtige Person am Markt auf, sie sucht aktiv nach Kauf- und Verkaufsgelegenheiten, bewirbt die Objekte und ist nicht selten auch als Bauherr tätig. Derartige Charakteristiken fehlen im vorliegenden Fall. So hat sich der Steuerpflichtige zumindest im Jahr 2004 darauf beschränkt, sein Vermögen in Immobilien zu investieren, mutmasslich unter Aufnahme von Fremdmitteln, was aber nicht restlos geklärt ist, und er hat - als Gegenleistung für das übernommene Risiko - eine wohl etwas höhere Rendite erzielt. Diese Vorgehensweise stellt für sich allein nichts anderes als die Verwaltung (und Vermehrung) des privaten Vermögens dar, gleich einer Anlage in Aktien oder Obligationen. Zu keinem andern Schluss führt der Umstand, dass die Objekte allem Anschein nach in der Buchhaltung der Einzelunternehmung aktiviert waren, die ihrerseits im Handelsregister eingetragen war.
3.3.3. Diese Einschätzung betrifft das Jahr 2004, das einzig Streitgegenstand bildet. Die Verhältnisse in den Folgejahren, welche die Steuerrekurskommission als Liebhaberei beurteilt hat, sind deshalb nicht rechtserheblich. Zuzustimmen ist den Steuerpflichtigen freilich darin, dass die in den Steuerjahren 2004 bis 2008 eingetretenen Aufwandüberschüsse nicht gegen eine selbständige Erwerbstätigkeit sprechen. Gerade nach Aufnahme einer kommerziellen Tätigkeit sind Verluste nichts Aussergewöhnliches, zumal Investitionen angefallen sein können, die es abzuschreiben gilt. Wie ausgeführt, sind im vorliegenden Fall freilich keinerlei Anhaltspunkte für eine tatsächlich ausgeübte Geschäftstätigkeit ersichtlich, die (bereits) im Jahr 2004 für eine selbständige Erwerbstätigkeit sprechen könnten. Die Steuerpflichtigen wenden ein, beim angeblichen Hauswart habe es sich in Wahrheit um einen "ausgewiesenen Trockenbauspezialisten" gehandelt. Die Vorinstanz hatte hierzu ausgeführt, die Höhe des ausgerichteten Lohnes stelle kein Indiz für eine geschäftliche Tätigkeit dar. Worin die Aktivitäten genau lagen, wurde weder festgestellt noch könnte dies isoliert von Belang sein. Eine verfassungsrechtlich untermauerte Sachverhaltsrüge fehlt hierzu ohnehin.
3.3.4. Schliesslich machen die Steuerpflichtigen geltend, die AHV-Ausgleichskasse führe den Ehemann als Selbständigerwerbenden. Gleiches müsse für steuerliche Zwecke gelten. Diese Sichtweise ist allzu verkürzt. Zutreffend ist zwar, dass das Einkommen aus selbständiger Erwerbstätigkeit und das im Betrieb eingesetzte eigene Kapital von den kantonalen Steuerverwaltungen ermittelt und den Ausgleichskassen gemeldet wird (Art. 9 Abs. 3 AHVG), für welche die Angaben grundsätzlich verbindlich sind (Art. 23 Abs. 4 AHVV) : Verbindlichkeit herrscht indes nur, soweit es um die Bemessung des massgebenden Einkommens und des betrieblichen Eigenkapitals geht (Urteil 9C_897/ 2013 vom 27. Juni 2014 E. 2.2.1, nicht publ. in: BGE 140 V 241). Keine Massgeblichkeit besteht hingegen dazu, ob es sich überhaupt um Erwerbseinkommen handelt, falls dies zutrifft, ob Erwerbseinkommen aus selbständiger oder unselbständiger Tätigkeit vorliegt und schliesslich, falls Einkommen aus selbständiger Erwerbstätigkeit besteht, ob die Person beitragspflichtig ist (zit. Urteil 9C_897/2013 E. 2.2.2). Allein aus dem Umstand der AHV-rechtlichen Qualifikation können die Steuerpflichtigen also nichts für sich ableiten.
3.3.5. Die Beschwerde erweist sich damit als unbegründet, weshalb sie abzuweisen ist.
3.4. Aus dem Steuerrecht des Kantons Bern ergibt sich nichts anderes. Insbesondere beruht Art. 21 Abs. 1 des Steuergesetzes [des Kantons Bern] vom 21. Mai 2000 (StG/BE; BSG 661.11) auf Art. 8 Abs. 1 StHG, der seinerseits Art. 18 DBG entspricht (Urteile 2C_228/2015 vom 7. Juni 2016 E. 6.2; 2C_156/2015 vom 5. April 2016 E. 2.2.4 [zit.]).
4.
Nach dem Unterliegerprinzip (Art. 65 i. V. m. 66 Abs. 1 BGG) sind die Kosten des bundesgerichtlichen Verfahrens den Steuerpflichtigen aufzuerlegen. Diese tragen die Kosten zu gleichen Teilen und unter solidarischer Haftung (Art. 66 Abs. 5 BGG). Dem Kanton Bern, der in seinem amtlichen Wirkungskreis obsiegt, steht keine Parteientschädigung zu (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Verfahren 2C_683/2016 und 2C_684/2016 werden vereinigt.
2.
Die Beschwerde betreffend die direkte Bundessteuer 2004 (Verfahren 2C_684/2016) wird abgewiesen.
3.
Die Beschwerde betreffend die Staats- und Gemeindesteuern 2004 des Kantons Bern (Verfahren 2C_683/2016) wird abgewiesen.
4.
Die Kosten des bundesgerichtlichen Verfahrens von Fr. 1'000.-- werden den Beschwerdeführern auferlegt. Sie tragen ihren Anteil zu gleichen Teilen und unter solidarischer Haftung.
5.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Bern und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 18. August 2016
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Kocher