Sachverhalt: A. X._ und Y._ wohnen in R._/SG. Sie haben fünf Kinder (geb. 1973 bis 1979); vier davon hatten im Jahr 2001 eine Ausbildung abgeschlossen und waren vollzeitlich erwerbstätig. In ihrer Steuererklärung 2001 deklarierten X._ und Y._ Schulden in Höhe von Fr. 1'058'751.--; davon entfielen Fr. 403'751.-- auf Darlehen, die ihnen von ihren fünf Kindern gewährt worden waren. Für diese Darlehen machten sie Schuldzinsen von Fr. 23'280.-- geltend. In der Steuererklärung 2002 wies das Ehepaar Darlehensschulden gegenüber den Kindern von Fr. 451'734.-- aus; die dafür zum Abzug gebrachten Zinsen beliefen sich auf Fr. 11'865.--. Die Veranlagungsbehörde rechnete die Darlehensschulden und die darauf entrichteten Zinsen zum steuerbaren Einkommen und Vermögen der Eheleute auf. Die Einsprachen der Steuerpflichtigen gegen diese Veranlagungen wurden teilweise gutgeheissen; ein Abzug der Darlehensschulden gegenüber den Kindern und der darauf entrichteten Schuldzinsen wurde hingegen abgelehnt. Dagegen gelangten X._ und Y._ an die Verwaltungsrekurskommission des Kantons St. Gallen, welche den Rekurs insoweit guthiess, als sie die im Jahre 2001 und 2002 neu bei den Kindern aufgenommenen Darlehen (Fr. 36'000.-- und Fr. 94'000.--) und die dafür bezahlten Zinsen von Fr. 850.-- zum Abzug zuliessen. Das Verwaltungsgericht des Kantons St. Gallen hiess die von den Steuerpflichtigen gegen diesen Entscheid gerichtete Beschwerde teilweise gut, indem es zusätzlich Zinsen (2001: Fr. 2'010.--; 2002: Fr. 1'006.--) auf den Guthaben der Kinder (2001: Fr. 36'090.--; 2002: Fr. 31'350.--), die durch die von den Eltern geführten Sparhefte ausgewiesen sind, ebenfalls zum Abzug zuliess. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten stellen X._ und Y._ dem Bundesgericht den Hauptantrag, den Entscheid des Verwaltungsgerichts des Kantons St. Gallen vom 3. April 2008, den Entscheid der Verwaltungsrekurskommission vom 13. Dezember 2007, die Einspracheentscheide des kantonalen Steueramtes vom 19. Februar 2007 sowie die Veranlagungsverfügungen und Schlussrechnungen der Staats- und Gemeindesteuern 2001 und 2002 aufzuheben; die Sache sei zur Neubeurteilung an das Verwaltungsgericht oder an die Veranlagungsbehörde zurückzuweisen. Das Kantonale Steueramt hat auf eine Vernehmlassung verzichtet. Das Verwaltungsgericht des Kantons St. Gallen und die Eidgenössische Steuerverwaltung beantragen die Abweisung der Beschwerde.