Sachverhalt:
A.
A.A._ und B.A._ waren während der Steuerperiode 2008 Eigentümer von verschiedenen Liegenschaften:
- Ein Mehrfamilienhaus an der M._strasse xx und yy in U._, gemäss der Beschreibung der Eigentümer faktisch ein Einfamilienhaus mit zwei Einlegerwohnungen. Dieses wurde bis Oktober 2008 von A.A._ und B.A._ selbst bewohnt und anschliessend von deren Sohn benutzt, welchem es im Jahr 2011 auch geschenkt wurde (Objekt 1);
- Zwei Wohnungen an der N._strasse zz in U._, voll eigenfinanziert und ohne hypothekarische Belastung, beide im Jahr 2003 erstellt, im Jahr 2005 bezogen, jedoch offenbar erst im Jahr 2007 formell erworben. Die Objekte sind seit 2005 drittvermietet. Soweit ersichtlich, läuft seit dem Jahr 2007 ein zehnjähriger Mietvertrag, wobei die Mieterin die beiden Objekte zu einer einzigen Wohnung zusammengelegt hat (Objekt 2);
- Zwei Wohnungen am O._weg qq in U._, erstellt 2007, Antritt per 8. Februar 2007. Eine Wohnung ist an die jüngere Schwester von B.A._ vermietet (Objekt 3), die andere wird soweit ersichtlich seit Oktober 2008 von A.A._ und B.A._ selbst genutzt (Objekt 4). Beide Wohnungen wurden aus privaten Mitteln finanziert;
- Ein hälftiger Anteil am Mehrfamilienhaus P._weg rr in V._, bestehend aus acht Wohnungen. Erwerb im Jahr 1981, seither stets drittvermietet, voll eigenfinanziert ohne Hypothekarbelastung. Die andere Hälfte der Liegenschaft wird von einer Drittperson gehalten (Objekt 5);
- Ein hälftiger Anteil an Landwirtschaftsland in W._, Erwerb 1982, welches von einem Bauern genutzt wird, ohne dass ein eigentliches Pachtverhältnis besteht (Objekt 6);
- Drei Wohnungen an der S._strasse ss in V._ resp. der T._strasse tt in X._, alle erworben im Jahr 1999 und angetreten per 31. Dezember 2000. Die Überbauungen, in welchen sich diese drei Wohnungen befinden, wurden von einem Konsortium, bestehend aus A.A._ und einer Drittperson erstellt. Die drei Wohnungen sind voll eigenfinanziert (Objekte 7-9).
Nach einem ersten Rechtsgang (vgl. Urteil 2C_525/2013 resp. 2C_526/2013 vom 2. Juli 2013) wurden A.A._ und B.A._ mit Verfügung vom 28. Januar 2014 für die kantonalen Steuern der Periode 2008 mit einem steuerbaren Einkommen von Fr. 811'200.-- (satzbestimmend Fr. 426'900.--; Fr. 333'500.-- zu einem reduzierten Satz) und einem steuerbaren Vermögen von Fr. 14'165'000.-- veranlagt. Bei der direkten Bundessteuer derselben Periode erfolgte die Veranlagung mit einem steuerbaren und satzbestimmenden Einkommen von Fr. 845'600.--. Im Vergleich zur Selbstschatzung bestand eine Differenz, welche im Wesentlichen auf eine unterschiedliche Zuordnung der verschiedenen Liegenschaften zum Geschäfts- resp. zum Privatvermögen von A.A._ zurückzuführen ist.
B.
Gegen die Veranlagungen erhoben die Pflichtigen Einsprache, welche jedoch mit Entscheid der Steuerkommission resp. der Verwaltung des Kantons Schwyz für die direkte Bundessteuer vom 1. Juli 2015 abgewiesen wurde. In der Folge beschwerten sich A.A._ und B.A._ beim Verwaltungsgericht des Kantons Schwyz. Mit Urteil vom 14. Juli 2016 wies dieses die Beschwerde betreffend die kantonalen Steuern ab. Die Beschwerde betreffend die direkte Bundessteuer hiess es dagegen teilweise gut und setzte das steuerbare (und satzbestimmende) Einkommen neu auf Fr. 823'100.-- fest.
C.
Mit Eingabe vom 7. September 2016 führen A.A._ und B.A._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Sie beantragen im Wesentlichen, bei den kantonalen Steuern sei das steuerbare Einkommen auf Fr. 809'500.-- (satzbestimmend Fr. 426'000.--; Fr. 333'500.-- zu einem ermässigten Satz) zu reduzieren; bei der direkten Bundessteuer sei das steuerbare Einkommen auf Fr. 821'400.-- festzusetzen. Die Pflichtigen begründen ihre Anträge im Wesentlichen damit, die zusammengelegte Wohnung an der N._strasse zz in U._ (Objekt 2) sowie die der Schwester von B.A._ vermietete Wohnung am O._weg qq in U._ (Objekt 3) seien entgegen der Vorinstanz nicht dem Geschäfts- sondern dem Privatvermögen zuzuordnen. Dies habe zur Folge, dass statt der effektiven Unterhaltskosten die (höheren) pauschalen Unterhaltskosten absetzbar seien.
Während das Verwaltungsgericht des Kantons Schwyz auf Vernehmlassung verzichtet, schliessen die Steuerkommission resp. die Verwaltung des Kantons Schwyz für die direkte Bundessteuer sowie die Eidgenössische Steuerverwaltung (betreffend die direkte Bundessteuer) auf Abweisung der Beschwerde. Mit Schreiben vom 10. November 2016 wurde den Pflichtigen das Vernehmlassungsergebnis mitgeteilt; innert der hierfür angesetzten Frist erfolgte keine weitere (fakultative) Eingabe.

Erwägungen:
I. Formelles
1.
Die Vorinstanz hat die kantonalen Rechtsmittel betreffend die direkte Bundessteuer einerseits und die kantonalen Steuern andererseits im selben Urteil behandelt. Auch die Steuerpflichtigen fechten dieses Urteil mit nur einer Beschwerdeschrift an. Aus diesen Gründen rechtfertigt es sich, die Verfahren 2C_784/2016 (betreffend die kantonalen Steuern 2008) und 2C_785/2016 (betreffend die direkte Bundessteuer 2008) zu vereinigen (vgl. <ref-law> i.V.m. <ref-law>; <ref-ruling> E. 1.2 S. 465).
2.
2.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wurde unter Einhaltung der gesetzlichen Frist (<ref-law>) und Form (<ref-law>) eingereicht und richtet sich gegen einen Endentscheid (<ref-law>) einer letzten, oberen kantonalen Instanz (<ref-law>) in einer Angelegenheit des öffentlichen Rechts (<ref-law> i.V.m. Art. 73 ff. des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [Steuerharmonisierungsgesetz, StHG; SR 642.14] und Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG; SR 642.11]). Die Beschwerdeführer sind durch das angefochtene Urteil besonders berührt und haben ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung (<ref-law>). Auf die Beschwerde ist einzutreten.
2.2. Mit der Beschwerde können Rechtsverletzungen nach Art. 95 und Art. 96 BGG geltend gemacht werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dabei prüft es, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (<ref-law>), nur die geltend gemachten Vorbringen, falls allfällige weitere rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254). Die Anwendung des harmonisierten kantonalen Steuerrechts durch die kantonalen Instanzen prüft das Bundesgericht gleich wie Bundesrecht mit freier Kognition. In den Bereichen, in denen das Steuerharmonisierungsgesetz den Kantonen einen gewissen Gestaltungsspielraum belässt oder keine Anwendung findet, beschränkt sich die Kognition des Bundesgerichts indes auf Willkür (<ref-ruling> E. 2 S. 210; <ref-ruling> E. 3.1 S. 205 f.; Urteil 2C_978/2014 bzw. 2C_979/2014 vom 13. Mai 2015 E. 1.4, in: StE 2015 B 81.2 Nr. 3).
2.3. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (<ref-law>; <ref-ruling> E. 10.1 S. 445; <ref-ruling> E. 1.6 S. 280 f.). Die Erhebung einer Sachverhaltsrüge setzt zudem voraus, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend ist (<ref-law>).
II. Direkte Bundessteuer
3.
Gemäss <ref-law> kann der Steuerpflichtige für Grundstücke des Privatvermögens anstelle der tatsächlichen Kosten und Prämien einen Pauschalabzug geltend machen. Der Bundesrat regelt diesen Pauschalabzug. Gemäss Art. 2 der Verordnung des Bundesrates vom 24. August 1992 über den Abzug der Kosten von Liegenschaften des Privatvermögens bei der direkten Bundessteuer (Liegenschaftskostenverordnung; SR 642.116) kann der Steuerpflichtige anstelle der tatsächlichen Kosten und Prämien sowie der den Unterhaltskosten gleichgestellten energiesparenden Investitionen einen Pauschalabzug geltend machen (Abs. 1). Dieser Pauschalabzug beträgt (Abs. 2 lit. a), wenn das Gebäude zu Beginn der Steuerperiode bis zehn Jahre alt ist, 10 Prozent vom Brutto-Mietertrag bzw. -Mietwert resp. (Abs. 2 lit. b), wenn das Gebäude in diesem Zeitpunkt älter ist als zehn Jahre, 20 Prozent vom Brutto-Mietertrag bzw. -Mietwert. Gemäss Art. 3 der Liegenschaftskostenverordnung kann der Steuerpflichtige in jeder Steuerperiode und für jede Liegenschaft zwischen dem Abzug der tatsächlichen Kosten und dem Pauschalabzug wählen. Art. 4 der genannten Verordnung schränkt schliesslich ein, dass ein Pauschalabzug für Liegenschaften, die von Dritten vorwiegend geschäftlich genutzt werden, nicht in Betracht kommt.
4.
4.1. Im vorliegenden Fall liegt im Streit, ob für die zusammengelegte Wohnung an der N._strasse zz in U._ (Objekt 2) sowie für die der Schwester resp. Schwägerin der Pflichtigen vermietete Wohnung am O._weg qq in U._ (Objekt 3) der in casu höhere Pauschalabzug für die Unterhaltskosten zulässig ist oder ob nur die (hier tieferen) effektiven Unterhaltskosten absetzbar sind, wie dies die Vorinstanzen entschieden haben. Gemäss den aufgezeigten Bestimmungen hängt dies davon ab, ob die betreffenden Liegenschaften (Objekte 2 und 3) dem Privatvermögen oder aber dem Geschäftsvermögen des Ehemannes zuzuordnen sind. Nur im ersteren Fall ist ein Pauschalabzug möglich; bei einer Zugehörigkeit zum Geschäftsvermögen steht eine solche Abzugsmöglichkeit demgegenüber nicht zur Verfügung.
4.2. Gemäss <ref-law> gelten als Geschäftsvermögen alle Vermögenswerte, die ganz oder vorwiegend der selbständigen Erwerbstätigkeit dienen.
Immobilienhandel im Sinne einer selbständigen Erwerbstätigkeit liegt gemäss bundesgerichtlicher Praxis dann vor, wenn die steuerpflichtige Person An- und Verkäufe von Liegenschaften systematisch und mit der Absicht der Gewinnerzielung vornimmt. Erforderlich ist die Entwicklung einer Tätigkeit, die in ihrer Gesamtheit auf Erwerb gerichtet ist. Als Indizien kommen in Betracht: Die systematische bzw. planmässige Art und Weise des Vorgehens (aktives, wertvermehrendes Tätigwerden durch Parzellierung, Überbauung, Werbung usw.; Erwerb in der offenkundigen Absicht, die Liegenschaft möglichst rasch mit Gewinn weiterzuverkaufen; Ausnützung der Marktentwicklung), die Häufigkeit der Liegenschaftsgeschäfte, der enge Zusammenhang eines Geschäfts mit der beruflichen Tätigkeit der steuerpflichtigen Person, der Einsatz spezieller Fachkenntnisse, die kurze Besitzdauer, der Einsatz erheblicher fremder Mittel zur Finanzierung der Geschäfte, die Verwendung der erzielten Gewinne bzw. deren Wiederanlage in gleichartige Vermögensgegenstände oder die Realisierung der Gewinne im Rahmen einer Personengesellschaft. Keine selbständige Erwerbstätigkeit bzw. kein gewerbsmässiger Immobilienhandel liegt demgegenüber vor, wenn lediglich das eigene Vermögen verwaltet wird, insbesondere etwa durch die Vermietung eigener Liegenschaften. Daran ändert nichts, wenn das Vermögen umfangreich ist, professionell verwaltet wird und kaufmännische Bücher geführt werden. Überdies liegt normalerweise private Vermögensverwaltung vor, wenn der Eigentümer seine Liegenschaft (en) mit Wohn- oder Geschäftsbauten überbaut, um aus deren Vermietung einen Ertrag zu erzielen. Dies gilt - ohne Hinzutreten weiterer Umstände - selbst dann, wenn zur Werterhöhung und Erleichterung des Weiterverkaufs Stockwerkeigentumseinheiten begründet werden. Allerdings setzt dies voraus, dass das Geschäft nicht ausschliesslich mit fremden Mitteln finanziert worden ist (Urteil 2C_1204/2013 vom 2. Oktober 2014 E. 2.3 m.w.H.).
4.3. Im vorliegenden Fall ist unbestritten, dass der Beschwerdeführer 1 Gesellschafter zweier Baukonsortien war, welche in den Jahren 1999 bis 2000 Liegenschaften erstellt und teilweise veräussert haben. In dieser Hinsicht übte der Beschwerdeführer 1 auch gemäss eigenen Angaben eine selbständige (Neben-) erwerbstätigkeit aus. Die aus diesen Aktivitäten verbleibenden Liegenschaften (Objekte 7 bis 9) werden als Folge dessen anerkanntermassen als Geschäftsvermögen behandelt.
Umgekehrt liegt zu Recht auch nicht im Streit, dass eine Qualifikation als selbständiger Liegenschaftshändler nicht automatisch dazu führt, dass sämtliche von ihm gehaltenen Liegenschaften automatisch seinem Geschäftsvermögen zugehörig wären. Vielmehr muss diese Zuordnung für jede Immobilie einzeln geprüft werden (Urteil 2C_375/2010 vom 22. März 2011 E. 4.4). Dem Rechnung tragend, anerkannte die Vorinstanz für die Objekte 1, 4, 5 und 6 die Zugehörigkeit zum Privatvermögen des Beschwerdeführers 1.
4.4. Zu prüfen bleibt die Qualifikation der hier einzig streitbetroffenen Objekte 2 und 3:
Bereits im ersten Rechtsgang führte die Vorinstanz mit ihrem Urteil vom 19. April 2013 (vgl. die bundesgerichtlichen Verfahren 2C_525/2013 und 2C_526/2013) aus, es sei unbestritten, dass der Beschwerdeführer 1 bis zu seiner Pensionierung hauptberuflich Architekt im Anstellungsverhältnis gewesen und im Nebenerwerb einer Tätigkeit als selbständiger Liegenschaftshändler nachgegangen sei, wobei zwischen 1999 und 2003 Gewinne auf verschiedenen Liegenschaftsverkäufen besteuert worden seien bzw. der Beschwerdeführer 1 zwischen 1999 und 2006 gewerbsmässigen Liegenschaftenhandel betrieben habe. In diesen beruflichen Aktivitäten und den damit verbundenen Fachkenntnissen erblickte das Verwaltungsgericht ein nicht unbedeutendes Indiz für die Zuordnung aller nicht selbstbewohnten Liegenschaften zum Geschäftsvermögen (E. 3.5.1 und E. 3.5.2 des Urteils vom 19. April 2013). Zudem habe der Beschwerdeführer 1 im Jahr 2007 im Vergleich zu den Vorjahren gehäuft Immobilien erworben, nämlich vier Stockwerkeigentumseinheiten im Wert von insgesamt Fr. 1.9 Mio. Dies spreche - ungeachtet der vollen Eigenfinanzierung - ebenfalls für eine Zuordnung dieser Liegenschaften zum Geschäftsvermögen (E. 3.5.3 des Urteils vom 19. April 2013). An diese Ausführungen erachtete sich die Vorinstanz im angefochtenen Entscheid als gebunden, weshalb sie an der Zuordnung der streitbetroffenen Objekte 2 und 3 zum Geschäftsvermögen festhielt (E. 2.2 und E. 2.5 des Urteils vom 14. Juli 2016).
4.5. Die Beschwerdeführer wenden dagegen ein, die Handelstätigkeit des Beschwerdeführers 1 habe sich auf die Beteiligung an zwei Baukonsortien beschränkt, welche in den Jahren 1999 und 2000 realisiert und abgewickelt worden seien. Alle anderen Liegenschaften, welche er seither erworben habe, seien stets in seinem Besitz geblieben, und es habe somit gerade kein Handel stattgefunden. Im Weiteren sei zwar richtig, dass der Beschwerdeführer 1 im Jahre 2007 grundbuchlich das Eigentum an den Objekten 2, 3 und 4 erworben habe; dies sei jedoch eine Zufälligkeit, zumal beim Objekt 2 die Kaufpreiszahlung und der Übergang von Nutzen und Gefahr bereits im Jahr 2004 erfolgt sei und die Objekte 3 und 4 umgekehrt erst im Jahr 2008 fertiggestellt worden seien. Ohnehin hätten die im Jahr 2007 grundbuchlich überschriebenen Liegenschaften nichts mit dem gewerbsmässigen Liegenschaftshandel in den Jahren 1999 bis 2000 zu tun. Die Fachkenntnisse des Beschwerdeführers 1 als Architekt hätten ferner nur eine Bedeutung für die Frage, ob jemand als gewerbsmässiger Liegenschaftenhändler qualifiziere, nicht jedoch für die Zuordnung einer bestimmten Liegenschaft zum Privat- resp. zum Geschäftsvermögen.
Im Zusammenhang mit diesen Vorbringen rügen die Beschwerdeführer eine Verletzung von Bundesrecht, einen Verstoss gegen das Rechtsgleichheitsgebot sowie eine Verweigerung des rechtlichen Gehörs.
4.6. Wie bereits ausgeführt, ist in Anwendung der hiervor aufgezeigten Kriterien (vgl. E. 4.2) auf die einzelnen streitbetroffenen Liegenschaften zu prüfen, ob sie Gegenstand einer selbständigen Erwerbstätigkeit des Beschwerdeführers 1 darstellen.
Diesbezüglich lässt sich nicht bestreiten, dass der Beschwerdeführer 1 als professioneller Architekt grundsätzlich über besondere Fachkenntnisse in Bezug auf Immobilien verfügt. Ebenso hat die Vorinstanz zutreffend festgestellt, dass ein Zusammenhang zwischen dem Erwerb der betreffenden Objekte und der (unselbständigen) Haupterwerbstätigkeit des Beschwerdeführers 1 als Architekt besteht: Dieser führt selbst aus, dass sein Arbeitgeber, die C._ AG, im Rahmen eines Drittauftrags die Planung der Objekte 2 und 3 durchführte, so dass der Beschwerdeführer 1 aufgrund seiner Haupterwerbstätigkeit von der Kaufgelegenheit erfuhr und auch detaillierte Kenntnisse über die Eigenschaften dieser Liegenschaften erhielt (vgl. S. 6 der Beschwerdeschrift). Indessen erwog das Verwaltungsgericht ebenfalls, dass der Beschwerdeführer 1 zufolge Pensionierung bereits per Ende 2006 aus der C._ AG ausgeschieden ist und an der Unternehmung auch nicht mehr beteiligt ist. Den Umstand, dass er nach wie vor an der D._ AG beteiligt ist (welche das Halten von Beteiligungen, insbesondere an Architektur-, Immobilien- und baunahen Gesellschaften sowie alle damit zusammenhängenden Dienstleistungen bezweckt), erachtete die Vorinstanz grundsätzlich als nicht von entscheidender Bedeutung (E. 3.5.3 des Urteils vom 19. April 2013).
Ebenso ist es nicht zu beanstanden, wenn die Vorinstanz eine gewisse Häufung des Grunderwerbs des Beschwerdeführers 1 festgestellt hat, wenngleich dieser Umstand durch die Ausführungen der Beschwerdeführer zu den zeitlichen Abläufen (vgl. E. 4.5 hiervor) etwas relativiert wird. Zu berücksichtigen ist diesbezüglich aber die volle Eigenfinanzierung der beiden streitbetroffenen Liegenschaften: Gemäss den unbestrittenen Ausführungen der Beschwerdeführer wurden die Objekte 2 und 3 vollumfänglich mit Eigenmitteln finanziert, wobei die verwendeten Mittel soweit ersichtlich nicht aus dem Verkauf von anderen Immobilien und namentlich auch nicht aus den Gewinnen des früheren gewerbsmässigen Liegenschaftenhandels stammten.
Das Halten und langfristige Vermieten der Liegenschaften seit deren Erwerb spricht schliesslich stark gegen die Absicht eines raschen, gewinnbringenden Weiterverkaufs. Im Gegenteil deutet ein solches Vorgehen gemäss dem Obenstehenden auf eine blosse Verwaltung des eigenen Vermögens hin, welche gerade keinen gewerbsmässigen Immobilienhandel begründet. Ebenso wenig liegen bezüglich die hier einzig streitbetroffenen Objekte 2 und 3 Anhaltspunkte für ein systematisches, wertvermehrendes Vorgehen des Beschwerdeführers 1 vor; das Zusammenlegen von zwei Wohnungen (Objekt 2) spricht in Anbetracht des gleichzeitigen Abschlusses eines zehnjährigen Mietvertrags eher für die Absicht der Erzielung eines langfristigen Vermögensertrags.
Bei einer Gesamtwürdigung der aufgezeigten Umstände überwiegen somit jene Elemente, die für eine Zuordnung der Objekte 2 und 3 zum Privatvermögen sprechen.
5.
Die Zugehörigkeit der Objekte 2 und 3 zum Privatvermögen der Beschwerdeführer hat zur Folge, dass die Pflichtigen für diese Grundstücke den Pauschalabzug gemäss <ref-law> vornehmen können. Die Beschwerde ist somit gutzuheissen, und der angefochtene Entscheid betreffend die direkte Bundessteuer aufzuheben.
Die Beschwerdeführer stellen in zulässiger Weise reformatorische Rechtsbegehren und beziffern die Auswirkungen ihrer Anträge auf das steuerbare Einkommen bei der direkten Bundessteuer. Zu diesen Berechnungen äussern sich indes weder die Vorinstanz noch die Steuerverwaltung des Kantons Schwyz. Aus diesem Grund ist die Angelegenheit zur Vornahme des Pauschalabzugs und zur daraus resultierenden Neufestsetzung der Steuerfaktoren an die Vorinstanz zurückzuweisen.
III. Kantonale Steuern
6.
Die Rechtslage ist bei den kantonalen Steuern im Wesentlichen identisch wie bei der direkten Bundessteuer (Art. 8 Abs. 2 StHG i.V.m. § 19 Abs. 2 des Steuergesetzes des Kantons Schwyz vom 9. Februar 2000 [StG/SZ]; Art. 9 Abs. 3 StHG i.V.m. § 32 Abs. 2 lit. a und Abs. 3 lit. b StG/SZ sowie § 19 der Vollzugsverordnung vom 22. Mai 2001 zum Steuergesetz des Kantons Schwyz [VVStG/SZ]).
Aus diesen Gründen gelten die vorstehenden Erwägungen für die direkte Bundessteuer auch bei den kantonalen Steuern, weshalb auf das bereits Ausgeführte verwiesen werden kann. Dies hat zur Folge, dass der angefochtene Entscheid auch betreffend die kantonalen Steuern aufzuheben und die Angelegenheit auch diesbezüglich zur Gewährung des Pauschalabzugs und zur Neufestsetzung der Steuerfaktoren an das Verwaltungsgericht des Kantons Schwyz zurückzuweisen ist.
IV. Kosten- und Entschädigungsfolgen
7.
Entsprechend dem Ausgang des Verfahrens sind die bundesgerichtlichen Kosten dem Kanton Schwyz zu auferlegen, welcher vorliegend Vermögensinteressen verfolgt hat (Art. 66 Abs. 1 und Abs. 4 [e contrario] BGG). Der Kanton Schwyz hat den Beschwerdeführern für das bundesgerichtliche Verfahren zudem eine Parteientschädigung auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Verfahren 2C_784/2016 und 2C_785/2016 werden vereinigt.
2.
Die Beschwerde betreffend die direkte Bundessteuer wird gutgeheissen, der angefochtene Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 14. Juli 2016 aufgehoben und die Angelegenheit zur Neubeurteilung im Sinne der Erwägungen an die Vorinstanz zurückgewiesen.
3.
Die Beschwerde betreffend die kantonalen Steuern wird gutgeheissen, der angefochtene Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 14. Juli 2016 aufgehoben und die Angelegenheit zur Neubeurteilung im Sinne der Erwägungen an die Vorinstanz zurückgewiesen.
4.
Die Gerichtskosten in Höhe von Fr. 2'000.-- werden dem Kanton Schwyz auferlegt.
5.
Der Kanton Schwyz hat die Beschwerdeführer für das bundesgerichtliche Verfahren mit insgesamt Fr. 2'000.-- zu entschädigen.
6.
Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Schwyz, Kammer II, sowie der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 13. April 2017
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Zähndler