Sachverhalt:
A. X._ und Y._ wohnen in R._/SG. Sie haben fünf Kinder (geb. 1973 bis 1979); vier davon hatten im Jahr 2001 eine Ausbildung abgeschlossen und waren vollzeitlich erwerbstätig.
In ihrer Steuererklärung 2001 deklarierten X._ und Y._ Schulden in Höhe von Fr. 1'058'751.--; davon entfielen Fr. 403'751.-- auf Darlehen, die ihnen von ihren fünf Kindern gewährt worden waren. Für diese Darlehen machten sie Schuldzinsen von Fr. 23'280.-- geltend. In der Steuererklärung 2002 wies das Ehepaar Darlehensschulden gegenüber den Kindern von Fr. 451'734.-- aus; die dafür zum Abzug gebrachten Zinsen beliefen sich auf Fr. 11'865.--. Die Veranlagungsbehörde rechnete die Darlehensschulden und die darauf entrichteten Zinsen zum steuerbaren Einkommen und Vermögen der Eheleute auf.
Die Einsprachen der Steuerpflichtigen gegen diese Veranlagungen wurden teilweise gutgeheissen; ein Abzug der Darlehensschulden gegenüber den Kindern und der darauf entrichteten Schuldzinsen wurde hingegen abgelehnt.
Dagegen gelangten X._ und Y._ an die Verwaltungsrekurskommission des Kantons St. Gallen, welche den Rekurs insoweit guthiess, als sie die im Jahre 2001 und 2002 neu bei den Kindern aufgenommenen Darlehen (Fr. 36'000.-- und Fr. 94'000.--) und die dafür bezahlten Zinsen von Fr. 850.-- zum Abzug zuliessen.
Das Verwaltungsgericht des Kantons St. Gallen hiess die von den Steuerpflichtigen gegen diesen Entscheid gerichtete Beschwerde teilweise gut, indem es zusätzlich Zinsen (2001: Fr. 2'010.--; 2002: Fr. 1'006.--) auf den Guthaben der Kinder (2001: Fr. 36'090.--; 2002: Fr. 31'350.--), die durch die von den Eltern geführten Sparhefte ausgewiesen sind, ebenfalls zum Abzug zuliess.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten stellen X._ und Y._ dem Bundesgericht den Hauptantrag, den Entscheid des Verwaltungsgerichts des Kantons St. Gallen vom 3. April 2008, den Entscheid der Verwaltungsrekurskommission vom 13. Dezember 2007, die Einspracheentscheide des kantonalen Steueramtes vom 19. Februar 2007 sowie die Veranlagungsverfügungen und Schlussrechnungen der Staats- und Gemeindesteuern 2001 und 2002 aufzuheben; die Sache sei zur Neubeurteilung an das Verwaltungsgericht oder an die Veranlagungsbehörde zurückzuweisen.
Das Kantonale Steueramt hat auf eine Vernehmlassung verzichtet.
Das Verwaltungsgericht des Kantons St. Gallen und die Eidgenössische Steuerverwaltung beantragen die Abweisung der Beschwerde.

Erwägungen:
1. 1.1 Die Beschwerde ist zulässig u.a. gegen Entscheide letzter kantonaler Instanzen (Art. 86 Abs. 1 lit. d BGG). Soweit die Beschwerdeführer die Aufhebung der Entscheide der unteren kantonalen Instanzen sowie der Veranlagungsverfügungen und Schlussrechnungen verlangen, ist darauf nicht einzutreten.
1.2 Das angefochtene Urteil des Verwaltungsgerichts weist die Angelegenheit zur Veranlagung im Sinne der Erwägungen und zur Steuerausscheidung an das kantonale Steueramt zurück. Es schliesst somit das Verfahren prozessual nicht ab. Streitig war vor der Vorinstanz indessen allein die Rechtsfrage, ob das Vorgehen der Steuerpflichtigen eine Steuerumgehung darstellt oder nicht. In diesem Zusammenhang hat das Verwaltungsgericht für das kantonale Steueramt verbindlich entschieden, welche Schulden bzw. Schuldzinsen durch die Steuerpflichtigen zum Abzug gebracht werden können. Diese Frage wurde vom Verwaltungsgericht für die unteren kantonalen Instanzen (in Abweichung von deren Auffassung) verbindlich beantwortet, ohne dass diesen noch ein Entscheidungsspielraum verbliebe (vgl. Urteil 2C_752/2008 vom 10. Februar 2009 E. 1); zusätzliche Abklärungen sind keine vorzunehmen. Unter diesen Umständen ist der angefochtene Rückweisungsentscheid als Endentscheid zu betrachten, gegen den gemäss Art. 90 BGG die Beschwerde uneingeschränkt zulässig ist (vgl. dazu eingehend <ref-ruling>, mit Hinweisen).
2. Die Beschwerdeführer rügen eine Verletzung ihres Anspruches, von den staatlichen Organen ohne Willkür und nach Treu und Glauben behandelt zu werden (Art. 5 Abs. 3 bzw. Art. 9 BV), sowie von Art. 127 BV (Vorbehalt des formellen Gesetzes im Abgaberecht).
3. 3.1 Jedes der fünf Kinder der Beschwerdeführer verfügte über ein Sparheft bei der Zürcher Kantonalbank. Nachdem die Sparhefte im Dezember 1981 saldiert worden waren, führten die Eltern die Sparhefte ab August 1984 handschriftlich weiter. Gutgeschrieben wurden den Kindern neben Schenkungen von Verwandten vor allem eine jährliche Nichtraucherprämie. Die Guthaben betrugen gesamthaft Fr. 36'090.-- (2001) bzw. Fr. 31'350.-- (2002) und wurden zu 6 % (Fr. 2'010.--) bzw. 3 % (Fr. 1'006.--) verzinst. Diese Guthaben wurden den Kindern 2003 bzw. 2005 ausbezahlt.
3.2 Alle fünf Kinder verfügten zudem je über ein Sparkonto bei den Beschwerdeführern. Deren Guthaben stammten nach Angaben der Beschwerdeführer aus von ihnen ausgerichteten Schenkungen sowie aus einer an die Kinder weitergegebenen Erbschaft der Grosseltern (von je Fr. 50'000.--). Diese Guthaben seien nicht den Kindern ausbezahlt, sondern bei den Beschwerdeführern als Darlehen verbucht und von ihnen jährlich verzinst worden. Die Darlehensguthaben betrugen insgesamt Fr. 334'091.-- (2001) bzw. Fr. 327'100.-- (2002). Für das Jahr 2001 wurden Zinsen von Fr. 20'420.-- (6,1 %), für das Jahr 2002 solche von Fr. 10'009.-- (3 %) an die Kinder entrichtet bzw. den Konten gutgeschrieben. Die Sparkonten waren zuvor mit bis zu 10 % (bspw. 1997 und 1998) verzinst worden (vgl. Beschwerdebeilage 4: Urteil des Verwaltungsgerichts des Kantons St. Gallen vom 21. März 2006 betreffend Einkommens- und Vermögenssteuern der Beschwerdeführer für das Jahr 1999).
3.3 Im Jahr 2001 haben die Beschwerdeführer bei ihren Töchtern A._ und B._ weitere Darlehen im Umfang von Fr. 20'000.-- (2002 erhöht auf Fr. 50'000.--, zu verzinsen mit 3 %) und 16'000.-- aufgenommen. Das Darlehen von A._ wurde in den Jahren 2001 und 2002 mit je Fr. 850.-- verzinst. Zusätzlich nahmen die Beschwerdeführer im Jahr 2002 Darlehen von C._ von Fr. 3'000.- und D._ von Fr. 25'000.-- (zu verzinsen mit 4 %) auf.
4. 4.1 Gemäss Art. 45 Abs. 1 lit. a und Art. 62 des St. Galler Steuergesetzes vom 9. April 1998 (StG/SG) können von den steuerbaren Einkünften die privaten Schuldzinsen und vom steuerbaren Vermögen die Schulden abgezogen werden.
4.2 Die Vorinstanz hat festgestellt, dass die Beschwerdeführer die von ihnen ausgewiesenen Schulden als Darlehen bei ihren Kindern aufgenommen und auch die entsprechenden Schuldzinsen bezahlt haben. Sie hat demzufolge erkannt, dass die zum Abzug gebrachten Schulden und Schuldzinsen von Art. 45 Abs. 1 lit. a und Art. 62 StG/SG ohne weiteres erfasst werden. Sie prüfte alsdann, ob das von den Beschwerdeführern gewählte Vorgehen als Steuerumgehung betrachtet werden müsste und die Abzüge dennoch zu besteuern seien.
4.3 In Bezug auf die Sparheftguthaben hat die Vorinstanz das Vorliegen einer Steuerumgehung verneint und die Guthaben von Fr. 36'090.-- (2001) und Fr. 31'350.-- (2002) sowie die entrichteten Zinsen von Fr. 2'010.-- (2001) und Fr. 1'006.-- (2002) zum Abzug zugelassen.
Auch die in den Jahren 2001 und 2002 neu aufgenommenen Darlehen von insgesamt Fr. 36'000.-- (2001) und 58'000.-- (2002) sowie die entsprechenden Schuldzinsen von je Fr. 850.-- hat die Vorinstanz (wie bereits die Verwaltungsrekurskommission) als abzugsberechtigt beurteilt. Sie ist dabei davon ausgegangen, dass diese Darlehen aus Vermögen stammen, welches die Kinder durch ihr Erwerbseinkommen erwirtschaftet haben.
Diese Beurteilung ist unbestritten geblieben und wird auch von der Eidgenössischen Steuerverwaltung geteilt. Sie bildet somit nicht Gegenstand des vorliegenden Verfahrens.
Diese Beurteilung ist unbestritten geblieben und wird auch von der Eidgenössischen Steuerverwaltung geteilt. Sie bildet somit nicht Gegenstand des vorliegenden Verfahrens.
4.4 4.4.1 Die Vorinstanz hat erkannt, die von den Beschwerdeführern gewählte Kombination von Schenkungen und Darlehen erlaube ihnen, einen Teil ihrer Einkünfte den Kindern zu übertragen und diese Zuwendungen vom steuerbaren Einkommen abzuziehen. Dennoch könnten sie faktisch über die entsprechenden flüssigen Mittel - deren Herkunft und Verwaltung sich aus den Akten nicht rekonstruieren lasse - verfügen. Die Zinsen seien auch nicht ausbezahlt, sondern zum Kapital geschlagen worden. Das Aufnehmen eines Darlehens durch die Eltern bei ihren Kindern sei weder sachwidrig noch absonderlich. Ungewöhnlich sei jedoch das Ausrichten von Schenkungen durch die Eltern an ihre Kinder, wenn die Eltern im gleichen Umfang und zum gleichen Zeitpunkt bei den Kindern wiederum verzinsliche Darlehen aufnehmen. Dies insbesondere dann, wenn der Zins nicht ausbezahlt, sondern jeweils zur Darlehensschuld geschlagen werde; eine solche Abrede wäre - im Voraus getroffen - zivilrechtlich ungültig (Art. 314 Abs. 3 OR). Es sei nicht ersichtlich, weshalb die Beschwerdeführer bei ihren Kindern zu 10 %, später zu 6 % bzw. 3 % verzinsbare Darlehen aufgenommen hätten, obwohl sie vor der Schenkung zinsfrei über das Vermögen hätten verfügen können. Eine finanzielle Unterstützung der Kinder hätten sie auch durch direkte - allerdings steuerlich nicht absetzbare - Zuwendungen erreichen können. Das gewählte Vorgehen habe den Beschwerdeführern ermöglicht, den Kindern abzugsfähige Beträge zukommen zu lassen, obwohl die gesetzlichen Voraussetzungen für einen Sozialabzug nicht erfüllt gewesen seien. Ausser der vom Gesetzgeber nicht vorgesehenen Steuerersparnis sei kein sachlicher Grund für die von den Beschwerdeführern gewählte Kombination von gegenläufigen Geschäften ersichtlich, womit sich das gewählte Vorgehen als missbräuchlich bzw. als Steuerumgehung erweise.
4.4.2 Die Beschwerdeführer stellen dieser Argumentation vor allem ihre eigene abweichende Sicht entgegen, ohne aufzuzeigen, inwiefern die vorinstanzlichen Erwägungen die angerufenen verfassungsmässigen Rechte verletzen sollten. Die Beschwerdebegründung genügt daher in weiten Teilen nicht den in Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG genannten Anforderungen. Im Übrigen trifft es nicht zu, dass die Vorinstanz die Unterschiede zu dem in der Beschwerde zitierten Urteil des Bundesgerichts (2A.580/2000 vom 12. Juli 2001, publ. in: StE 2001 A 12 Nr. 10) übersehen hätte. Der Umstand, dass die Beschwerdeführer - anders als im erwähnten Fall - ihren Kindern die Darlehenszinsen nicht ausbezahlten, erlaubt es zwar nicht, auf eine Umgehung von Art. 48 StG/SG zu schliessen. Die Vorinstanz bezog sich denn auch nicht auf diese Bestimmung, sondern bejahte eine missbräuchliche Geltendmachung des Abzugs privater Schuldzinsen bzw. Schulden gemäss Art. 45 Abs. 1 lit. a und Art. 62 StG/SG.
Die Beschwerdeführer vermögen auch im vorliegenden Verfahren ausser dem Zweck der Steuerersparnis keine plausible Erklärung für das von ihnen gewählte unübliche Vorgehen aufzuzeigen. Die Vorinstanz, auf deren Begründung vollumfänglich verwiesen werden kann, durfte damit ohne Willkür bzw. ohne Verstoss gegen Treu und Glauben davon ausgehen, dass das Vorgehen der Beschwerdeführer als Steuerumgehung zu betrachten ist. Eine Verletzung von Art. 127 Abs. 1 BV kann darin ebenfalls nicht erblickt werden, denn rechtsmissbräuchliches Vorgehen verdient auch im öffentlichen Recht keinen Rechtsschutz (vgl. Art. 2 Abs. 2 ZGB, Art. 9 BV).
5. Die Beschwerde ist aus diesen Gründen abzuweisen. Entsprechend dem Ausgang des Verfahrens haben die Beschwerdeführer die Kosten des Verfahrens vor Bundesgericht unter solidarischer Haftung zu tragen (Art. 66 Abs. 1 und 5 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'500.-- werden den Beschwerdeführern auferlegt, unter solidarischer Haftung.
3. Dieses Urteil wird den Beschwerdeführern, dem Kantonalen Steueramt St. Gallen, dem Verwaltungsgericht des Kantons St. Gallen und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 2. März 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Küng