Sachverhalt: A. Y._ schenkte seiner Tochter Z._ am 1. Januar 2004 den Betrag von Fr. 350'000.--. Gleichzeitig gewährte die Beschenkte dem Schenker ein Darlehen über denselben Betrag, so dass effektiv kein Geld überwiesen wurde. In der Folge entrichtete der Schenker bzw. Borger der Darleiherin einen Jahreszins in Höhe von anfänglich Fr. 17'000.-- sowie vierteljährliche Zahlungen von jeweils Fr. 5'710.80 zwecks Amortisierung des Darlehens. Der Amortisationsbetrag entspricht der garantierten Mindestrente einer von Y._ per 1. Mai 2003 abgeschlossenen Leibrentenversicherung zu seinen Gunsten, für welche er eine Einmalprämie von Fr. 379'994.80 leistete. Im Todesfall des versicherten Y._ sollte die Einmalprämie unter Abzug der bereits geleisteten Rentenzahlungen an die Tochter ausbezahlt werden. Mit Verfügung vom 24. Juni 2005 wurden Y._ sowie seine Ehefrau von der Steuerkommission Aarau für die Kantons- und Gemeindesteuern 2004 für ein steuerbares Einkommen von Fr. 127'100.-- und für ein steuerbares Vermögen von Fr. 1'054'400.-- (satzbestimmend Fr. 1'209'000.--) veranlagt. In Abweichung von der Selbstschatzung liess die Steuerkommission unter anderem eine geltend gemachte Darlehensschuld gegenüber der Tochter von Fr. 336'462.-- und die damit verbundenen Schuldzinsen von Fr. 17'000.-- nicht zum Abzug zu. Für die Ferienwohnung der Eheleute X._ und Y._ in Mörel VS mit einem Walliser Steuerwert von Fr. 97'340.-- berücksichtigte die Steuerkommission Aarau einen Wert von Fr. 246'213.-- zur Satzbestimmung. In teilweiser Gutheissung der dagegen erhobenen Einsprache setzte die Steuerkommission Aarau mit Entscheid vom 6. April 2006 das steuerbare Vermögen auf Fr. 1'009'900.-- (satzbestimmend Fr. 1'162'000.--) herab, wobei aber die Darlehensschuld gegenüber der Tochter nach wie vor nicht berücksichtigt wurde, und auch der Wert der Liegenschaft in Mörel VS unverändert blieb; das steuerbare Einkommen beliess die Steuerkommission Aarau auf Fr. 127'100.--. Einen hiergegen erhobenen Rekurs an das Steuerrekursgericht des Kantons Aargau wies dieses mit Entscheid vom 24. Mai 2007 ab. B. Die Steuerpflichtigen führten Beschwerde an das Verwaltungsgericht des Kantons Aargau. Dieses erblickte wie bereits die Vorinstanzen in der Kombination von Schenkung und Darlehen eine Steuerumgehung und liess den Abzug der geltend gemachten Schuldzinsen nicht zu. Es hiess aber die Beschwerde insoweit teilweise gut, als es das steuerbare Vermögen um den Betrag der geltend gemachten Darlehensschuld des Steuerpflichtigen gegenüber seiner Tochter auf neu Fr. 713'080.-- (satzbestimmend Fr. 826'140.--) herabsetzte. Das Verwaltungsgericht erwog, dass "für die vom Beschwerdeführer aus nachvollziehbaren Gründen angestrebte Sicherung des Vollzugs der Schenkung ein verbindliches Schenkungsversprechen erforderlich gewesen wäre", was mithin eine echte, abziehbare Schuld dargestellt hätte. Diese anzuerkennende Schuld entspreche formell der bestehenden Darlehensschuld im Umfang von Fr. 336'482.--, weshalb das steuerbare und das satzbestimmende Vermögen in diesem Umfang zu reduzieren seien (E. 1.4. des Urteils des Verwaltungsgerichtes des Kantons Aargau vom 23. Januar 2008). C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen die Steuerpflichtigen, der Entscheid des Verwaltungsgerichts vom 10. März 2008 sei insofern zu bestätigen, als er den Abzug einer Darlehensschuld von Fr. 336'482.-- bei der Festsetzung des Reinvermögens zulässt. Im Übrigen sei der angefochtene Entscheid aufzuheben, und die Sache sei zur Neubeurteilung unter Festsetzung des steuerbaren Einkommens auf Fr. 109'400.-- und des steuerbaren Vermögens auf Fr. 677'827.-- an die Vorinstanz zurückzuweisen. In seiner Vernehmlassung vom 7. Juli 2008 schliessen das Steueramt des Kantons Aargau auf Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Aargau, die Steuerkommission der Stadt Aarau sowie die Eidgenössische Steuerverwaltung (Hauptabteilung direkte Bundessteuer, Verrechnungssteuer, Stempelabgaben) haben auf einen Antrag verzichtet.