Sachverhalt:
A.
X._ (geb. 1942) betreibt das Weinimportunternehmen "W._". In den Steuererklärungen 2008 und 2009 deklarierten X._ und Y._ aus selbständiger Erwerbstätigkeit des Ehemannes einen Verlust von Fr. 70'219.-- (2008) bzw. Fr. 118'581.-- (2009). Der Revisor des kantonalen Steueramtes kam nach einer Buchprüfung zum Schluss, es fehle an der für die Annahme der selbständigen Erwerbstätigkeit erforderlichen Gewinnstrebigkeit, da seit 2002 jährlich Verluste aus selbständiger Erwerbstätigkeit deklariert würden; dementsprechend wurden die Verluste des Einzelunternehmens im Einkommen aufgerechnet.
B.
Das kantonale Steueramt veranlagte die Steuerpflichtigen mit Verfügung vom 9. Mai 2011 für die direkten Bundessteuern mit einem steuerbaren Einkommen von Fr. 199'100.-- (2008) bzw. 145'400.-- (2009) sowie für die Staats- und Gemeindesteuern mit einem steuerbaren Einkommen von Fr. 203'200.-- (2008) bzw. Fr. 146'400.-- (2009) und einem steuerbaren Vermögen von Fr. 7'060'000.-- (2008) bzw. Fr. 6'998'000.-- (2009). Die geltend gemachten Verluste der Einzelfirma wurden dabei nicht zum Abzug zugelassen.
Die hiergegen erhobenen Einsprachen wies das kantonale Steueramt mit Einspracheentscheiden vom 10. November 2011 ab. Das Steuerrekursgericht des Kantons Zürich hiess mit Entscheid vom 8. Mai 2012 die dagegen erhobenen Rekurs und Beschwerde - in einem Nebenpunkt - teilweise gut und veranlagte die Eheleute für die direkten Bundessteuern mit einem steuerbaren Einkommen von Fr. 176'100.-- (2008) bzw. 122'500.-- (2009) sowie für die Staats- und Gemeindesteuern - bei jeweils gleichbleibendem Vermögen - mit einem steuerbaren Einkommen von Fr. 180'200.-- (2008) bzw. Fr. 123'500.-- (2009). Die geltend gemachten Abzüge aus selbständiger Erwerbstätigkeit des Ehemannes wurden wiederum nicht zugelassen. Die gegen diesen Entscheid erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich mit Urteilen vom 28. November 2012 ab.
C.
Mit Eingaben vom 7. Januar 2013 erheben X._ und Y._ Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht. Sie beantragen, die angefochtenen Urteile des Verwaltungsgerichts "betreffend selbständige Erwerbstätigkeit (keine Liebhaberei/Hobby) " seien aufzuheben und damit die deklarierten Verluste anzuerkennen; die steuerbaren Einkommen 2008 und 2009 seien gemäss Selbstdeklaration zu veranlagen.
Das Kantonale Steueramt Zürich und das Verwaltungsgericht des Kantons Zürich schliessen auf Abweisung der Beschwerden, soweit darauf einzutreten sei. Die Eidgenössische Steuerverwaltung beantragt in Bezug auf die direkte Bundessteuer die Abweisung der Beschwerde, soweit darauf einzutreten sei, in Bezug auf die Staats- und Gemeindesteuern verzichtet sie auf eine Stellungnahme.

Erwägungen:
1.
1.1. Die vorliegenden Beschwerden richten sich gegen zwei praktisch übereinstimmende Urteile, betreffen dieselben Parteien und werfen identische Rechtsfragen auf. Es rechtfertigt sich deshalb, die Verfahren zu vereinigen und die Beschwerden in einem einzigen Urteil zu erledigen (vgl. <ref-law> in Verbindung mit <ref-law>; <ref-ruling> E. 1 S. 60 f. mit Hinweis).
1.2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist gemäss <ref-law> in Verbindung mit Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer (DBG; SR 642.11) sowie Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG; SR 642.14) zulässig. Die Beschwerdeführer sind zur Beschwerde legitimiert (<ref-law>).
1.3. Soweit jedoch die Beschwerdeführer auf Ausführungen und Akten vor den Vorinstanzen verweisen (vgl. Beschwerdeschrift S. 3), tritt das Bundesgericht praxisgemäss nicht darauf ein. Die erhobenen Rügen müssen in der Beschwerdeschrift selber enthalten sein; der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus (<ref-ruling> E. 3.1 S. 399 f. mit Hinweisen).
2.
Mit der Beschwerde kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), doch prüft es unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (<ref-law>) grundsätzlich nur die geltend gemachten Rechtswidrigkeiten (<ref-ruling> E. 1.4.1 S. 254). Die Verletzung von Grundrechten und von kantonalem Recht prüft das Bundesgericht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Soweit die Vorinstanz kantonales Recht anzuwenden hatte, kann im Wesentlichen nur geltend gemacht werden, der angefochtene Entscheid verstosse gegen Normen des Bundesrechts (<ref-law>), hier namentlich über die Steuerharmonisierung, oder gegen verfassungsmässige Rechte und Grundsätze, wie namentlich das Verbot von Willkür gemäss <ref-law> (<ref-ruling> E. 4.2.2 S. 158; <ref-ruling> E. 3 S. 351; <ref-ruling> E. 1.2 S. 382 f.). Soweit die in der Beschwerde erhobenen Rügen den Sachverhalt betreffen, richten sie sich nicht gegen die Sachverhaltsfeststellungen an sich, sondern deren Bewertung durch die Vorinstanz. Der Sachverhalt selbst ist unbestritten, scheint nicht offensichtlich unrichtig oder unvollständig und ist deshalb für das Bundesgericht verbindlich (Art. 97 Abs. 1, Art. 105 Abs. 1 und 2 BGG).
3.
Eine genügende Beschwerdebegründung ist hier nur teilweise zu erkennen, beschränkt sich doch die Beschwerdeschrift im Wesentlichen darauf, den angefochtenen Entscheid in appellatorischer Weise zu kritisieren, ohne jedoch darzulegen, inwiefern der Entscheid Bundesrecht verletzen soll. Verfassungsrügen werden nicht erhoben. Insbesondere rügen die Beschwerdeführer nicht rechtsgenüglich, die Vorinstanz habe kantonales Verfahrensrecht verletzt, indem sie die Erfolgsrechnung 2011 nicht berücksichtigt habe.
4.
Zur Frage, wann eine selbständige Erwerbstätigkeit nach <ref-law> vorliegt, und deren Abgrenzung zur sog. Liebhaberei, besteht eine reichhaltige kantonale und bundesgerichtliche Rechtsprechung (Urteile 2C_101/2008 vom 18. Juni 2008 E. 2.1, in: ASA 78 S. 317; 2C_708/2007 vom 19. Mai 2008 E. 3, in: StE 2009 B 93.3 Nr. 10; 2A.126/2007 vom 19. September 2007 E. 2, in: StR 63/2008 S. 36). Die Vorinstanz hat diese zutreffend dargestellt. Als selbständig erwerbstätig gelten Personen, die durch den Einsatz von Arbeitsleistung und Kapital in frei gewählter Organisation auf eigenes Risiko anhaltend, planmässig und nach aussen sichtbar am wirtschaftlichen Verkehr teilnehmen. Von der sog. Liebhaberei oder einem Hobby grenzt sich die selbständige Erwerbstätigkeit dadurch ab, dass sie auf Erzielung eines Erwerbseinkommens ausgerichtet ist. Diese sog. Gewinnstrebigkeit weist ein subjektives und ein objektives Moment auf: Zum einen muss die Absicht, Gewinn zu erzielen, gegeben sein; zum anderen muss aber auch die Tätigkeit zur nachhaltigen Gewinnerzielung geeignet sein. Andernfalls stellen die damit verbundenen Vermögensabgänge Einkommensverwendung und nicht abzugsfähigen Aufwand bzw. Geschäftskosten im Sinne von Art. 25 und 27 Abs. 1 DBG dar. Es kann diesbezüglich auf die Ausführungen im angefochtenen Entscheid und die dortigen Zitate verwiesen werden (<ref-law>). Was die Beschwerdeführer in ihrer Beschwerde dagegen vorbringen, vermag diese Rechtsprechung offensichtlich nicht in Frage zu stellen.
5.
5.1. Nach den tatsächlichen Feststellungen der Vorinstanz ist der Beschwerdeführer über seine seit 1996 im Handelsregister eingetragene Einzelfirma in dritter Generation im Weinhandel tätig. Sowohl seine Ehefrau wie auch sein Sohn helfen im Betrieb mit. Die Firma ist auf Weine aus dem Südtirol und dem Trentino spezialisiert und betreibt in A._/Italien einen Rebbaubetrieb sowie in B._/ZH eine Weinstube. Die "W._" erlitt während acht aufeinanderfolgenden Geschäftsjahren Reinverluste von Fr. 25'420.-- (2002), Fr. 76'644.-- (2003), Fr. 71'745.-- (2004), Fr. 128'772.-- (2005), Fr. 151'568.-- (2006), Fr. 121'418.-- (2007), Fr. 67'411.-- (2008) und Fr. 118'128.-- (2009). Auch in der hier nicht zu beurteilenden Steuerperiode 2010 deklarierten die Steuerpflichtigen einen Verlust von rund Fr. 40'000.-- (vgl. angefochtener Entscheid E. 3.1 und 3.3).
5.2. Aufgrund dieser Umstände durfte die Vorinstanz den Schluss ziehen, mangels Gewinnstrebigkeit stelle die Tätigkeit des Ehemannes keine selbständige Erwerbstätigkeit im Sinne von <ref-law> dar. So trifft es zu, dass die Steuerpflichtigen ihren Lebensunterhalt seit Jahren nicht mit Einkommen aus dem Einzelunternehmen erzielen, sondern mit ihrer AHV-Rente und den Erträgen aus Wertschriften und Liegenschaften. Ihre Existenz ist damit nicht von einem positiven Geschäftsergebnis der Einzelfirma abhängig.
Angesichts der beträchtlichen Verluste in den letzten acht Jahren kann auch nicht gesagt werden, tendenziell sei eine markante Verbesserung für die Zukunft erkennbar, wie dies die Beschwerdeführer mit Bezugnahme auf das Urteil 2A.46/2005 vom 31. August 2005 ausführen lassen. Im Gegensatz zum Sachverhalt im erwähnten Urteil stellt sich hier die Tätigkeit der Einzelfirma als dauernde Verlustquelle dar und es waren in den letzten acht Jahren auch keine ausgeglichenen oder gar leicht positiven Ergebnisse zu verzeichnen. Sodann hat die Vorinstanz den Einstieg des Sohnes der Beschwerdeführer in das Geschäft durchaus gewürdigt; die Beschwerdeführer nehmen auf diese Ausführungen jedoch nicht Bezug. Nicht zu beanstanden ist auf jeden Fall der Schluss der Vorinstanz, eine Trendwende scheine auch nach der Neuorientierung des Unternehmens nicht in Sicht (vgl. angefochtener Entscheid E. 3.5).
5.3. Die Beschwerdeführer machen weiter geltend, die Einzelfirma hätte ab 2010 Gewinne realisiert, wenn an die Ehefrau kein Lohn ausbezahlt worden wäre. Dazu hat die Vorinstanz zu Recht ausgeführt, dass der tatsächlich angefallene Personalaufwand in der Erfolgsrechnung ausgewiesen sei und in die steuerrechtliche Gewinnermittlung einzufliessen habe; hypothetische Annahmen seien deshalb unbeachtlich (vgl. angefochtener Entscheid E. 3.6). Die Beschwerdeführer beschränken sich hier darauf, das bereits vor der Vorinstanz Vorgetragene zu wiederholen, weshalb nicht näher darauf einzugehen ist (vgl. E. 3 hiervor).
5.4. Soweit die Beschwerdeführer schliesslich auf die Steuerjahre 2010 und 2011 Bezug nehmen, ist zunächst festzuhalten, dass diese formal nicht Gegenstand des vorliegenden Beschwerdeverfahrens bilden. Sodann stellen die Beschwerdeführer nicht in Abrede, dass die Einzelfirma auch in den Steuerjahren 2010 und 2011 wiederum Verluste zu verzeichnen hatte (vgl. angefochtener Entscheid E. 3.4).
Damit fehlt auch in dieser Hinsicht der Nachweis, dass der Beschwerdeführer nunmehr eine nachhaltige Tätigkeit ausübt. Es ist daher nicht zu beanstanden, dass die Vorinstanz im Ergebnis die Vermögensabgänge nicht als Geschäftskosten zum Abzug zugelassen hat. Der angefochtene Entscheid lässt damit keine Bundesrechtsverletzung erkennen.
6.
Die massgebenden kantonalrechtlichen Bestimmungen (§§ 18 Abs. 1 und 27 Abs. 1 und 2 des Steuergesetzes [des Kantons Zürich] vom 8. Juni 1997 [StG/ZH; LS 631.1]) stimmen mit denjenigen bei der direkten Bundessteuer überein (vgl. auch Art. 8 und 10 StHG). In Bezug auf die Staats- und Gemeindesteuern ergibt sich somit keine andere Qualifikation der Tätigkeit des Beschwerdeführers.
7.
Die Beschwerde erweist sich damit sowohl für die direkte Bundessteuer wie die Staats- und Gemeindesteuern als offensichtlich unbegründet, soweit darauf einzutreten ist, und ist im Verfahren nach Art. 109 Abs. 2 und 3 BGG mit summarischer Begründung zu erledigen.
Dem Verfahrensausgang entsprechend sind die Kosten des bundesgerichtlichen Verfahrens den Beschwerdeführern zu gleichen Teilen unter solidarischer Haftung aufzuerlegen (Art. 65 f. BGG). Es ist keine Parteientschädigung geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Verfahren 2C_14/2013 und 2C_15/2013 werden vereinigt.
2.
Die Beschwerde betreffend die direkte Bundessteuer (2C_15/2013) wird abgewiesen, soweit darauf einzutreten ist.
3.
Die Beschwerde betreffend die Staats- und Gemeindesteuern (2C_14/2013) wird abgewiesen, soweit darauf einzutreten ist.
4.
Die Gerichtskosten von insgesamt Fr. 3'000.-- werden den Beschwerdeführern je zur Hälfte unter solidarischer Haftung auferlegt.
5.
Dieses Urteil wird den Beschwerdeführern, dem Kantonalen Steueramt Zürich, dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 30. Mai 2013
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Winiger