Sachverhalt:
A. X._ und Y._ erwarben mit Kaufvertrag vom 28. Juli 1993 von Z._ die Liegenschaft "A._" in G._. Der Preis betrug Fr. 900'000.--, wovon Fr. 200'000.-- durch Einräumung eines lebenslänglichen Wohnrechts zugunsten der Verkäuferin getilgt wurden. Der Kapitalwert dieses Wohnrechts beruhte auf einem jährlichen Nutzungswert von Fr. 33'000.--. Mit Kaufvertrag vom 18. April 2005 erwarb X._ sodann die Liegenschaft "B._" in H._ zum Preis von Fr. 425'000.--, wovon Fr. 251'568.-- durch die Einräumung eines lebenslänglichen Nutzniessungsrechts zugunsten eines Miterben der veräussernden Erbengemeinschaft im Wert von Fr. 14'400 pro Jahr getilgt wurden.
B. In der Steuererklärung 2004 beanspruchten die Eheleute X._ und Y._ wie in den Vorperioden den Abzug von Fr. 33'000.-- für das Wohnrecht als dauernde Last, zumal das Verwaltungsgericht des Kantons Zürich dieses Vorgehen seinerzeit für die Einschätzung 1995 anerkannt hatte. Das kantonale Steueramt Zürich liess in den Veranlagungsverfügungen vom 17. September 2008 für die Steuerperiode 2004 diesen Abzug nicht mehr zu und veranlagte die Eheleute X._ und Y._ auf ein steuerbares Einkommen von Fr. 121'400.-- und auf ein Vermögen von Fr. 3'606'000.-- sowie bei der direkten Bundessteuer auf ein steuerbares Einkommen von Fr. 132'500.--.
In der Steuererklärung 2005 beanspruchten die Eheleute X._ und Y._ zusätzlich den Abzug von Fr. 10'800.-- für die ab 1. April 2005 bestehende Nutzniessung als dauernde Last. Das kantonale Steueramt Zürich liess in den Veranlagungsverfügungen vom 17. September 2008 für die Steuerperiode 2005 diese Abzüge ebenso wenig zu und veranlagte die Eheleute X._ und Y._ auf ein steuerbares Einkommen von Fr. 72'900.-- und Vermögen von Fr. 4'615'000.-- sowie bei der direkten Bundessteuer auf ein steuerbares Einkommen von Fr. 81'400.--.
Die hiergegen erhobenen Einsprachen wurden am 25. März 2009 abgewiesen. Die Veranlagungen der Eheleute X._ und Y._ blieben für die Steuerperiode 2004 unverändert und für die Steuerperiode 2005 wurden sie auf ein steuerbares Einkommen von Fr. 65'100.-- sowie bei der direkten Bundessteuer auf ein steuerbares Einkommen von Fr. 74'400.-- eingeschätzt.
Einen Rekurs bzw. eine Beschwerde wies der Einzelrichter der Steuerrekurskommission II des Kantons Zürich am 31. August 2009 ab. Die dagegen gerichteten Beschwerden waren vor dem Verwaltungsgericht des Kantons Zürich erfolglos.
C. Gegen diese Urteile des Verwaltungsgerichts des Kantons Zürich vom 31. März 2010 erheben X._ und Y._ Beschwerden in öffentlich-rechtlichen Angelegenheiten und beantragen, die Urteile des Verwaltungsgerichts des Kantons Zürich vom 31. März 2010, die Rekursentscheide vom 31. August 2009, die Einspracheentscheide vom 25. März 2009 für die Staats- und Gemeindesteuern sowie die direkten Bundessteuern 2004 und 2005 aufzuheben, die beantragten Abzüge anzuerkennen und eventuell die Angelegenheiten an die Vorinstanz zum Neuentscheid zurückzuweisen.
D. Das Kantonale Steueramt Zürich, das Verwaltungsgericht des Kantons Zürich sowie die Eidgenössische Steuerverwaltung beantragen, die Beschwerden abzuweisen.

Erwägungen:
1. 1.1 Die weitgehend gleich lautenden Beschwerden betreffen die gleichen Parteien, richten sich gegen praktisch übereinstimmende Entscheide und werfen dieselben Rechtsfragen auf. Es rechtfertigt sich deshalb, die Verfahren zu vereinigen und die Beschwerden in einem einzigen Urteil zu erledigen (vgl. <ref-law> in Verbindung mit <ref-law>; <ref-ruling> E. 1 S. 60 f.).
1.2 Bei den angefochtenen Entscheiden handelt es sich um kantonale letztinstanzliche Entscheide über die direkten Steuern des Kantons und des Bundes. Dagegen steht gemäss <ref-law> in Verbindung mit <ref-law> (SR 642.11) sowie Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden (StHG, SR 642.14) die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht offen. Auf die form- und fristgerecht eingereichten Beschwerden der nach <ref-law> legitimierten Beschwerdeführer ist grundsätzlich einzutreten. Aufgrund des Devolutiveffekts ist auf das Begehren, auch die Entscheide der Steuerrekurskommission bzw. die Einspracheentscheide aufzuheben, nicht einzutreten (<ref-ruling> E. 1.4 S. 144).
1.3 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann namentlich die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es legt sodann seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>), es sei denn, dieser sei offensichtlich unrichtig oder beruhe auf einer Rechtsverletzung im Sinne von <ref-law> (Art. 105 Abs. 2 bzw. <ref-law>).
1.4 Nach <ref-law> hat die Rechtsschrift die Begehren und deren Begründung zu enthalten; im Rahmen der Begründung ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (<ref-law>). Die Vorbringen müssen sachbezogen sein, damit aus der Beschwerdeschrift ersichtlich ist, in welchen Punkten und weshalb der angefochtene Entscheid beanstandet wird. Das Bundesgericht prüft die Verletzung von Grundrechten und von kantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>; <ref-ruling> E. 1.4.2 S. 254).
Eine diesen Anforderungen genügende Begründung ist hier nur teilweise zu erkennen, beschränkt sich doch die Beschwerdeschrift im Wesentlichen darauf, die schon vor den Vorinstanzen vorgebrachten Argumente rein appellatorisch zu wiederholen. Inwiefern das angefochtene Urteil an einem offensichtlichen Mangel leiden soll (vgl. <ref-ruling> E. 2.2 S. 246 mit Hinweisen), wird nicht näher dargetan. Insoweit kann auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten nicht eingetreten werden.
2. 2.1 Nach <ref-law> können von den Einkünften die dauernden Lasten sowie 40 Prozent der bezahlten Leibrenten abgezogen werden. Allerdings berechtigt eine solche "dauernde Last" nur dann zur Vornahme eines Abzugs von den Einkünften, wenn hierfür effektiv Aufwendungen anfallen (Gladys Laffely Maillard, Commentaire romand de la LIFD, 2008, N. 14 ff. ad art. 33 LIFD; Peter Locher, Kommentar zum DBG, Teil I, 2001, Rz. 22 zu <ref-law>; Felix Richner/Walter Frei/Stefan Kaufmann/Hans Ulrich Meuter, Handkommentar zum DBG, 2. Aufl., 2009, N. 31 zu <ref-law>; Rainer Zigerlig/Guido Jud, Kommentar zum Schweizerischen Steuerrecht [I/2a], Bundesgesetz über die direkte Bundessteuer [DBG], 2. Aufl. 2008, Rz. 17 zu <ref-law>). Die Tatsache, dass das fragliche Grundstück wegen der zeitlich begrenzten dinglichen Belastung für den Grundeigentümer vorübergehend etwas weniger wertvoll ist, berechtigt nicht zur Vornahme eines fiktiven Einkommensabzugs. Im Übrigen nimmt die Belastung (der Minderwert) der Liegenschaft mit jedem Jahr ab, und beim Wegfall der Servitut ist ihr Wert wieder voll intakt. Dieser sukzessive Vermögenszugang ist vom Grundeigentümer nicht als Einkommen zu deklarieren (Locher, a.a.O., Rz. 27 in fine zu <ref-law>).
Werden Liegenschaften unter Einräumung einer Personaldienstbarkeit (Wohnrecht bzw. Nutzniessung) zugunsten des Verkäufers veräussert (sog. Vorbehaltsnutzung), erfolgt der Rechtsübergang bereits um den Kapitalwert der Nutzungsrechte reduziert (zu einem "Minderwert" zufolge "deductio servitutis" vgl. Urteil 2C_256/2010 vom 6. September 2010 E. 2.2.2 mit Hinweisen). Die nutzungsberechtigte Person hat während der Dauer des Dienstbarkeitsverhältnisses den Nutzungswert des Objektes als Einkommen gemäss <ref-law> zu deklarieren (vgl. Urteil 2C_256/2010 vom 6. September 2010 E. 2.2.2 mit Hinweisen). Der Eigentümer des nutzungsbelasteten Grundstücks wiederum hat der nutzungsberechtigten Person während der Dauer des Dienstbarkeitsverhältnisses keine Zahlungen zu leisten, weshalb er gestützt auf <ref-law> auch nichts von den Einkünften absetzen kann. Ein Abzug wäre auch sachwidrig, steigt doch der Wert der wohnrechts- bzw. nutzniessungsbelasteten Liegenschaft jedes Jahr beim Grundeigentümer sukzessive an, wobei dieser Vermögenszugang wie erwähnt nicht als Einkommen erfasst wird. Bei einem Weiterverkauf der Liegenschaft (nach dem Wegfall der Personaldienstbarkeit) sind für die Gewinnberechnung vergleichbare Verhältnisse herzustellen (sog. Kongruenzprinzip). Dabei kann Kongruenz sowohl nach der Brutto- wie auch nach der Nettomethode erreicht werden, und in keinem Fall resultiert eine Doppelbelastung (Peter Locher, Wohnrechte, Nutzniessungen und obligatorische Nutzungsrechte, ZStP 15 [2006], S. 1 ff., insbesondere S. 15).
2.2 Hier haben die Beschwerdeführer die Liegenschaft "A._" in G._ zum Preis von Fr. 900'000.-- erworben, wovon Fr. 200'000.-- durch Einräumung eines lebenslänglichen Wohnrechts zugunsten der Verkäuferin getilgt wurden. Der Kapitalwert dieses Wohnrechts beruhte auf einem Nutzungswert von Fr. 33'000.-- pro Jahr, d.h. man rechnete noch mit einer Lebenserwartung der wohnrechtsberechtigten Person von rund sechs Jahren. Die Beschwerdeführer mussten für dieses Wohnrecht der wohnrechtsberechtigten Person indes keinen jährlichen Betrag von Fr. 33'000.-- ausrichten. Sie hatten vielmehr einfach zu dulden, dass die damals 85-jährige Verkäuferin noch bis zu ihrem Ableben im Haus wohnen durfte. Andererseits hatten die Beschwerdeführer bis 2002 tatsächlich pro Jahr Fr. 33'000.-- zu bezahlen, allerdings nicht für die Wohnrechtseinräumung, sondern als Abschlagszahlung an den Kaufpreis von Fr. 700'000.-- an die Adoptivtochter der Verkäuferin (vgl. Ziff. 8 der weiteren Bestimmungen im Kaufvertrag vom 28. Juli 1993). Dass eine solche Abschlagszahlung nicht von den Einkünften absetzbar ist, ergibt sich aus <ref-law>.
Mit Kaufvertrag vom 18. April 2005 erwarb der Beschwerdeführer die Liegenschaft "B._" in H._ zum Preis von Fr. 425'000.--, wovon Fr. 251'568.-- durch die Einräumung eines lebenslänglichen Nutzniessungsrechts zugunsten eines Miterben der veräussernden Erbengemeinschaft im Wert von Fr. 14'400 pro Jahr getilgt wurden. Auch hier hatte der Beschwerdeführer dem Nutzniesser - nebst der Duldung des Nutzungsrechtes - keine zusätzlichen Zahlungen zu erbringen, welche als "dauernde Last" absetzbar wären. Es verhält sich damit diesbezüglich gleich wie beim früher vereinbarten Wohnrecht.
2.3 Was die Beschwerdeführer dagegen einwenden, überzeugt nicht:
2.3.1 Zunächst beziehen sich die Beschwerdeführer auf frühere Erlasse zur direkten Bundessteuer. Dabei übersehen sie, dass sie für die Personaldienstbarkeiten keine wiederkehrenden Zahlungen leisten müssen und berücksichtigen zu wenig, dass das Besteuerungsregime von Leibrenten einerseits und von Wohnrecht/Nutzniessung andererseits mit dem Stabilisierungsprogramm 1998 per 1. Januar 2001 geändert wurde (vgl. Botschaft vom 21. September 1998 zum Stabilisierungsprogramm 1998, in: BBl 1999 4 ff., 90 ff.). Die nutzungsberechtigte Person hat nun ihre Naturaleinkünfte stets zu 100 Prozent (nicht nur zu 40 Prozent) zu versteuern (vgl. BBl 1999 98). Andererseits hat der Eigentümer eines wohn- oder nutzniessungsbelasteten Grundstücks während der Dauer des Dienstbarkeitsverhältnisses nichts zu deklarieren, obwohl der Wert des belasteten Grundstücks laufend steigt; dabei hat er im Normalfall - wie hier - nichts zu bezahlen. Entsprechend kann er auch keinen Abzug geltend machen.
2.3.2 Der Umstand, dass die wohnrechtsberechtigte Person länger als die angenommenen rund sechs Jahre lebte, spielt für die Beschwerdeführer keine Rolle. Sie hatten keine irgendwie gearteten Mehrleistungen zu erbringen.
2.3.3 Ebenso wenig dürfte dann, wenn die wohnrechtsberechtigte Person vorzeitig ableben sollte, der ausserordentliche Vermögenszugang wegen Wegfalls der Belastung beim Grundeigentümer einkommenssteuerlich erfasst werden (Locher, a.a.O., N. 30 zu Art. 33 für den vorzeitigen Wegfall einer Rentenverpflichtung). Die in der Literatur vertretene gegenteilige Auffassung bezieht sich noch auf das Besteuerungsmodell vor dem Stabilisierungsprogramm 1998.
2.3.4 Die steuerliche Anerkennung des beantragten Abzugs in der Vergangenheit führt nicht dazu, dass daran auch in Zukunft festgehalten werden muss. Definitiv gewordene Steuerveranlagungen entfalten Wirkungen, insbesondere Rechtskraftwirkungen regelmässig nur für die Steuerperioden, für die sie ergangen sind (Urteil 2A.370/2004 vom 11. November 2005 E. 4.2 mit weiteren Hinweisen, in: ASA 77, S. 257 ff., 265). In der früheren Zulassung des Abzugs kann keine förmliche Zusicherung für die steuerliche Behandlung in zukünftigen Steuerperioden erblickt werden, und die Beschwerdeführer machen zu Recht keine individuelle Zusage geltend, welche unter Vertrauensgesichtspunkten zu würdigen wäre.
3. 3.1 § 31 Abs. 1 lit. b des Steuergesetzes des Kantons Zürich vom 8. Juni 1997 (StG; LS 631.1) bzw. Art. 9 Abs. 2 lit. b StHG lauten gleich wie <ref-law>. In Ziffer 176 der Dienstanleitung zum kantonalen Steuergesetz wird zudem ausdrücklich festgehalten, als dauernde Lasten seien bestimmte Aufwendungen abzugsberechtigt. Gerade daran fehlt es aber vorliegend. Das zur direkten Bundessteuer Ausgeführte gilt mithin auch für das Zürcher Steuergesetz.
3.2 Man könnte sich allenfalls fragen, ob die vorübergehende dingliche Belastung bei der Vermögensbemessung zu berücksichtigen sei. Allerdings wird sowohl das Nutzniessungsvermögen (§ 38 Abs. 2 StG) als auch das "Wohnrechtsvermögen" (vgl. Felix Richner/Walter Frei/ Stefan Kaufmann/Hans Ulrich Meuter, Kommentar zum harmonisierten Zürcher Steuergesetz, 2. Aufl. 2006, N. 9 zu § 38 StG) der berechtigten Person zugerechnet, weshalb sich die Frage für den Eigentümer des dienstbarkeitsbelasteten Grundstücks gar nicht stellt.
4. 4.1 Die Beschwerden in öffentlich-rechtlichen Angelegenheiten erweisen sich damit als unbegründet und sind abzuweisen, soweit darauf eingetreten werden kann.
4.2 Entsprechend diesem Verfahrensausgang sind die Kosten des bundesgerichtlichen Verfahrens den Beschwerdeführern unter Solidarhaft aufzuerlegen (Art. 65 f. BGG). Eine Parteientschädigung ist nicht auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Verfahren 2C_542/2010 und 2C_543/2010 werden vereinigt.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die direkte Bundessteuer wird abgewiesen, soweit darauf einzutreten ist.
3. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die Staats- und Gemeindesteuer wird abgewiesen, soweit darauf einzutreten ist.
4. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern unter Solidarhaft auferlegt.
5. Dieses Urteil wird den Verfahrensbeteiligten, dem Verwaltungsgericht des Kantons Zürich, 2. Kammer, und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 24. November 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Errass