Sachverhalt: A. Der österreichische Staatsbürger Dr. chem. A.X._ (geb. 1939) arbeitete ab dem 1. August 1965 während 9 Monaten in Deutschland und war bei der Bundesversicherungsanstalt für Angestellte in Berlin (BfA, heute: Deutsche Rentenversicherung Bund, DRV) pflichtversichert. Seit dem Jahr 1970 ist A.X._ in Z._ SG wohnhaft und war er, bis zu seinem Ruhestand Ende Juli 2004, sozusagen ausnahmslos in der Schweiz unselbständig erwerbstätig. Im ersten Halbjahr 2004 leistete er im Gesamtbetrag von Fr. 45'428.-- drei zusätzliche Zahlungen an die DRV. Seit dem 1. August 2004 richtet ihm diese Vorsorgeeinrichtung (unabhängig von seiner AHV/IV- Rente aufgrund seiner Erwerbstätigkeit in der Schweiz) eine jährliche Rente von umgerechnet ca. Fr. 7'000.-- aus. B. Für die Kantons- und Gemeindesteuern des Jahres 2004 erwog das Verwaltungsgericht des Kantons St. Gallen kantonal letztinstanzlich, dass die drei Zahlungen von A.X._ an die DRV nicht zum Abzug von dessen steuerbarem Einkommen zuzulassen seien, während die von der deutschen Anstalt ausgerichtete Rente in der Schweiz steuerlich vollumfänglich erfasst werden müsse. C. Am 18. Juni 2010 haben A. und B.X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Sie beantragen, das verwaltungsgerichtliche Urteil vom 11. Mai 2010 aufzuheben. D. Das Kantonale Steueramt St. Gallen, das Verwaltungsgericht des Kantons St. Gallen und die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde.