Sachverhalt: A. A.X._ und B.X._ zogen am 1. März 2000 vom Kanton Aargau her nach Walchwil/ZG. Anfangs 2001 gründete A.X._ die Einzelfirma "A.X._, Unternehmer/Treuhänder", die laut Handelsregisterauszug "Treuhandgeschäfte" bezweckt. Einen ersten Geschäftsabschluss per Ende 2001 erstellte A.X._ am 6. Oktober 2002. Darin bilanzierte er Aktiven von Fr. 127'500.--, darunter vier argentinische Obligationen, auf denen er ausserordentliche Abschreibungen von Fr. 224'491.10 vornahm; infolge der Abschreibungen wurde ein Verlust von Fr. 37'317.35 ausgewiesen. Für die Steuerperiode 2001 deklarierten A.X._ und B.X._ ein steuerbares Einkommen von Fr. 0.-- (Kantonssteuer und direkte Bundessteuer) und ein steuerbares Vermögen von Fr. 1'712'231.-- (Steuererklärung vom 5. Oktober 2002). Abweichend davon wurden sie am 21. April 2005 von der Kantonalen Steuerverwaltung Zug wie folgt eingeschätzt: Einkommen gesamt Einkommen im Kanton Zug steuerbar Vermögen gesamt Vermögen im Kanton Zug steuerbar Kantonssteuer Fr. 628'964 Fr. 194'400 Fr. 1'502'651 Fr. 354'000 Direkte Bundessteuer Fr. 647'564 - - - Dabei wurden insbesondere die ausserordentlichen Abschreibungen auf den argentinischen Obligationen aufgerechnet, da sie nicht Geschäftsvermögen bildeten. Dagegen erhoben A.X._ und B.X._ am 19. Mai 2005 Einsprache und reichten modifizierte Jahresrechnungen ein. Darin wiesen sie nunmehr auch zwei Liegenschaften im Kanton St. Gallen (Rorschach und St.Gallen) sowie eine im Kanton Thurgau (Romanshorn) als Geschäftsvermögen aus und nahmen darauf ordentliche Abschreibungen von 2% (ausmachend Fr. 220'000.--) vor. Im Einspracheentscheid vom 26. Juni 2006 wurden weder die ausserordentlichen noch die ordentlichen Abschreibungen anerkannt, weil es sich nicht um Geschäftsvermögen handle. Hingegen wurden die nachträglich eingereichten Unterlagen zu den Mieterträgen sowie Unterhaltskosten der Immobilien berücksichtigt und die Eheleute X._ in teilweiser Gutheissung der Einsprache neu wie folgt veranlagt: Einkommen gesamt Einkommen im Kanton Zug steuerbar Vermögen gesamt Vermögen im Kanton Zug steuerbar Kantonssteuer Fr. 469'748 Fr. 191'700 Fr. 1'502'651 Fr. 354'000 Direkte Bundessteuer Fr. 488'348 - - - B. Im Rekurs vom 19. Juli 2006 an das Verwaltungsgericht des Kantons Zug verlangten die Eheleute X._, die Schuldzinsen im Betrag von Fr. 358'981.25 seien vollumfänglich zu berücksichtigen, ebenso Verwaltungskosten von Fr. 10'000.-- für die Liegenschaft Wängi/TG. Daneben beharrten sie auf der Zulassung der Abschreibungen. In der Folge hiess das Verwaltungsgericht des Kantons Zug am 28. Dezember 2006 den Rekurs insoweit gut, als es Schuldzinsen von Fr. 358'981.25 und Verwaltungskosten von Fr. 10'000.-- zum Abzug zuliess und diesbezüglich die Sache zur Neuberechnung der Steuerbeträge an die Steuerverwaltung zurückwies. Im Übrigen wurde der Rekurs abgewiesen. Die beantragten Abschreibungen wurden nicht anerkannt, weil weder die vier argentinischen Obligationen noch die drei ausserkantonalen Liegenschaften zum Geschäftsvermögen gehörten. C. A.X._ und B.X._ haben am 8. Februar 2007 Verwaltungsgerichtsbeschwerde an das Bundesgericht erhoben. Die Beschwerdeführer beantragen sinngemäss, das Urteil des Verwaltungsgerichts des Kantons Zug vom 28. Dezember 2006 sei aufzuheben und es seien sowohl die ausserordentlichen Abschreibungen auf den Wertschriften als auch die ordentlichen Abschreibungen auf den drei Immobilien "in der Höhe des gesetzlich maximal Möglichen nach Zuger- und Bundes-Steuerrecht" anzuerkennen. D. Die Steuerverwaltung des Kantons Zug, das Verwaltungsgericht des Kantons Zug sowie die Eidgenössische Steuerverwaltung beantragen, die Beschwerde abzuweisen, soweit darauf einzutreten sei.