Sachverhalt:
A. Der österreichische Staatsbürger Dr. chem. A.X._ (geb. 1939) arbeitete ab dem 1. August 1965 während 9 Monaten in Deutschland und war bei der Bundesversicherungsanstalt für Angestellte in Berlin (BfA, heute: Deutsche Rentenversicherung Bund, DRV) pflichtversichert. Seit dem Jahr 1970 ist A.X._ in Z._ SG wohnhaft und war er, bis zu seinem Ruhestand Ende Juli 2004, sozusagen ausnahmslos in der Schweiz unselbständig erwerbstätig. Im ersten Halbjahr 2004 leistete er im Gesamtbetrag von Fr. 45'428.-- drei zusätzliche Zahlungen an die DRV. Seit dem 1. August 2004 richtet ihm diese Vorsorgeeinrichtung (unabhängig von seiner AHV/IV- Rente aufgrund seiner Erwerbstätigkeit in der Schweiz) eine jährliche Rente von umgerechnet ca. Fr. 7'000.-- aus.
B. Für die Kantons- und Gemeindesteuern des Jahres 2004 erwog das Verwaltungsgericht des Kantons St. Gallen kantonal letztinstanzlich, dass die drei Zahlungen von A.X._ an die DRV nicht zum Abzug von dessen steuerbarem Einkommen zuzulassen seien, während die von der deutschen Anstalt ausgerichtete Rente in der Schweiz steuerlich vollumfänglich erfasst werden müsse.
C. Am 18. Juni 2010 haben A. und B.X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Sie beantragen, das verwaltungsgerichtliche Urteil vom 11. Mai 2010 aufzuheben.
D. Das Kantonale Steueramt St. Gallen, das Verwaltungsgericht des Kantons St. Gallen und die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerde.

Erwägungen:
1. 1.1 Die Beschwerde ist grundsätzlich zulässig (vgl. <ref-law> in Verbindung mit Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG, SR 642.14]).
1.2 Aus dem Recht zu weisen ist allerdings das vom Beschwerdeführer erst nach Ablauf der gesetzlichen Beschwerdefrist eingereichte Schreiben vom 30. Juli 2010. Dabei handelt es sich nicht um eine (zulässige) Stellungnahme zum Vernehmlassungsergebnis, sondern um eine verspätete und somit unzulässige Ergänzung der ursprünglichen Beschwerdeschrift (vgl. u.a. StR 64/2009 S. 827 E. 1.3).
1.3 Das Bundesgericht wendet das Recht von Amtes wegen an (vgl. <ref-law>). Es ist daher weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann die Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder sie mit einer vom angefochtenen Urteil abweichenden Begründung abweisen (vgl. <ref-ruling> E. 1.4 S. 140 mit Hinweis).
1.4 Die Beschwerdeführer beantragen nur die Aufhebung des angefochtenen Urteils und die Rückweisung der Sache an die Vorinstanz. Sie verlangen aber keinen Entscheid in der Sache selbst (im Sinne von <ref-law>, was nach BGE 134 I1 186 E. 1.5 S. 190 ff. selbst bei einer Beschwerde gemäss Art. 73 StHG möglich wäre). Ein solcher Antrag schadet nicht und führt praxisgemäss dazu, dass es im Ermessen des Bundesgerichts steht, ein reformatorisches oder nur ein kassatorisches Urteil zu fällen (vgl. BGE 133 Il 409 E. 1.4 S. 414 f.).
2. Die Beschwerdeführer erachten einerseits als rechtswidrig, dass die Vorinstanz erwogen hat, die von der DRV im Jahr 2004 ausgerichtete Rente sei bei der Kantons- und Gemeindesteuer vollumfänglich als steuerbares Einkommen zu erfassen.
2.1 Aufgrund von Art. 21 des Abkommens zwischen der Schweizerischen Eidgenossenschaft und der Bundesrepublik Deutschland zur Vermeidung der Doppelbesteuerung auf dem Gebiete der Steuern vom Einkommen und Vermögen vom 11. August 1971 (DBAD; SR 0.672.913.62) dürfen Sozialversicherungsrenten nur in dem Staate besteuert werden, in welchem der Rentenbezüger ansässig, d.h. aufgrund persönlicher Zugehörigkeit steuerpflichtig ist (vgl. Peter Locher, Einführung in das internationale Steuerrecht der Schweiz, 3. Aufl. Bern 2005, S. 467 f.; Moris Lehner, in: Klaus Vogel/Moris Lehner, Doppelbesteuerungsabkommen, Kommentar, 5. Aufl. München 2008, Rz. 12 zu Art. 21). Die Eidgenössische Steuerverwaltung bestätigte dies mehrfach für Renten, die von der früheren BfA an eine in der Schweiz ansässige Person ausgerichtet wurden (vgl. RtiD 2006 II N.17t S. 521 E. 3.2; siehe auch Kurt Locher/Walter Meier/Rudolf von Siebenthal/Andreas Kolb, Doppelbesteuerungsabkommen Schweiz - Deutschland 1971 und 1978, Loseblattwerk, B 19.1 Nr. 7 und B 21 Nr. 4; siehe auch Art. 18 des OECD-Musterabkommens und Roland Ismer: in: Klaus Vogel/Moris Lehner, a.a.O., Rz. 29 zu Art. 18; Andreas Kolb, Überblick über das Update 2005 des OECD-Musterabkommens, ASA 74, S. 513). Auch die Beschwerdeführer bestreiten nicht, dass die hier massgebliche Rente in der Schweiz mit der Einkommenssteuer erfasst werden darf.
2.2 Der Einkommenssteuer unterliegen alle wiederkehrenden und einmaligen Einkünfte (vgl. Art. 29 Abs. 1 des Steuergesetzes des Kantons St. Gallen vom 9. April 1998, StG, sGS 811.1; siehe auch die damit übereinstimmende Regelung in Art. 7 Abs. 1 StHG). Das gilt insbesondere für alle Einkünfte aus der Alters-, Hinterlassenen- und Invalidenversicherung (vgl. Art. 35 Abs. 1 StG/SG). Anders als beispielsweise Leibrenten und Einkünfte aus Verpfründung, die nach Abs. 3 der gleichen Bestimmung (bzw. Art. 7 Abs. 2 StHG) nur zu 40 Prozent steuerbar sind, werden Leistungen nach Absatz 1 zu 100 Prozent steuerlich erfasst (vgl. BGE 132 Il 128 E. 3.1 S. 129 f.).
Der Beschwerdeführer hat allerdings die fragliche Rente nicht von einer schweizerischen AHV-Ausgleichskasse bezogen, sondern von der deutschen BfA bzw. DRV. Bei dieser sind in Deutschland unselbständig Erwerbstätige obligatorisch rentenversichert, wobei die Rentenversicherung einen Zweig der Sozialversicherung bildet und von öffentlich-rechtlichen Körperschaften wahrgenommen wird. Die hier zu beurteilende Rente steht daher einer AHV-Rente sehr nahe und ist wie eine solche zu 100 % zu besteuern, wie die Vorinstanz zu Recht erkannt hat (vgl. auch RtiD 2006 II N.17t S. 521 E. 3.1; im gleichen Sinn: PETER LOCHER, Kommentar zum DBG, I. Teil, Therwil/Basel 2001, Rz. 6 zu <ref-law>; FELIX RICHNER/WALTER FREI/STEFAN KAUFMANN/HANS ULRICH MEUTER, Handkommentar zum DBG, 2. Aufl. Zürich 2009, Rz. 22 zu <ref-law>).
2.3 Dagegen argumentieren die Beschwerdeführer, die von der DRV im Jahr 2004 ausgerichtete Zahlung müsse als Leibrente behandelt und könne somit nur zu 40 % besteuert werden. Allerdings ist Art. 35 Abs. 3 StG/SG vorliegend nicht anwendbar. Denn die von dieser Bestimmung vorgesehene beschränkte Besteuerung soll zwischen der Kapitalrückzahlungs- und der Ertragskompenente unterscheiden und nur letztere steuerlich erfassen. Stattdessen bemisst sich die Rente des Beschwerdeführers gegenüber der DRV soweit ersichtlich nicht nach der Höhe des einbezahlten Kapitals, sondern nach der Dauer der Beitragsleistung, und enthält sie keine Kapitalrückzahlungskomponente (vgl. auch RtiD 2006 II N.17t S. 522 E. 3.3). Es erübrigt sich, näher auf diesen Punkt einzugehen, weil selbst die Beschwerdeführer ihm nur untergeordnete Bedeutung beimessen (vgl. unten E. 4.1).
3. Die Beschwerdeführer machen andererseits geltend, die im ersten Halbjahr 2004 gegenüber der DRV geleisteten drei zusätzlichen Zahlungen hätten von ihrem steuerbaren Einkommen dieser Periode abgezogen werden müssen, was die Vorinstanz jedoch verweigert hat.
3.1 Gemäss Art. 45 Abs. 1 lit. d StG/SG (bzw. Art. 9 Abs. 2 lit. d StHG) werden die nach Gesetz, Statut oder Reglement geleisteten Einlagen, Prämien und Beiträge (zum Erwerb von Ansprüchen aus der) Alters-, Hinterlassenen- und Invalidenversicherung und aus Einrichtungen der beruflichen Vorsorge von den Einkünften abgezogen (vgl. auch Art. 81 Abs. 2 des Bundesgesetzes über die berufliche Alters-, Hinterlassenen- und Invalidenvorsorge vom 25. Juni 1982, BVG, SR 831.40). Die Abzugsfähigkeit von Beiträgen an die berufliche Vorsorge gilt für periodische Zahlungen wie grundsätzlich auch für einmalige Einkaufsbeiträge (unter Vorbehalt von Art. 205 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG, SR 642.11] sowie Art. 79a BVG), und es spielt keine Rolle, ob die Vorsorge den obligatorischen oder überobligatorischen Bereich betrifft (vgl. <ref-ruling> E. 4.2 S. 633). Anders verhält es sich bei der AHV, wo die Beitragspflicht detailliert im Gesetz geregelt ist (vgl. Art. 3 ff. des Bundesgesetzes vom 20. Dezember 1946 über die Alters- und Hinterlassenenversicherung, AHVG, SR 831.10) und "freiwillige Einkaufsbeiträge" nicht vorgesehen sind. Sogenannte Beitragslücken können nur in engen Grenzen ausgefüllt werden (vgl. Alfred Maurer/Gustavo Scartazzini/Marc Hürzeler, Bundessozialversicherungsrecht, Basel 2009, S. 105).
3.2 Auf diese Grundsätze hat sich die Vorinstanz hier berufen. Sie hat erwogen, zwei der drei im Jahr 2004 an die DRV gerichteten Zahlungen stellten "normale laufende Beiträge" dar. Da der Beschwerdeführer für denselben Zeitraum bereits AHV/IV- und BVG-Beiträge an schweizerische Einrichtungen geleistet habe, seien parallele Beiträge an eine ausländische Sozialversicherung nicht abzugsfähig und handle es sich insofern um eine (steuerlich nicht privilegierte) freiwillige Selbstvorsorge.
Ebenfalls nicht abzugsfähig sei die dritte Zahlung. Zwar betreffe sie Nachzahlungen bzw. Einkäufe von Studienzeiten und sei sie mit AHV/IV-Beiträgen vergleichbar. Dennoch komme ein Abzug nicht in Frage, weil die AHV/IV solche Nachzahlungen bzw. Einkäufe nicht kenne. Soweit der dritte Beitrag einer Einzahlung in eine Einrichtung der beruflichen Vorsorge gleichgestellt werden könne, sei ein Abzug trotzdem ausgeschlossen, weil der Beschwerdeführer im damaligen Zeitpunkt nicht vom BVG-Obligatorium befreit gewesen sei. Deshalb sei die im Ausland weitergeführte Vorsorge mit Blick auf die dritte Zahlung ebenfalls der Säule 3b zuzurechnen.
Die vorinstanzliche Argumentation erweist sich indessen weder unter dem Gesichtspunkt des kantonalen Rechts (bzw. des Harmonisierungsgesetzes) als zutreffend (vgl. unten E. 3.3), noch entspricht sie dem zwischenstaatlichen (Steuer-)Recht (E. 3.4).
3.3 Mit Blick auf das kantonale Steuergesetz und das Harmonisierungsrecht des Bundes vermag das angefochtene Urteil nicht zu überzeugen:
3.3.1 Grundsätzlich werden Beiträge an ausländische Sozialversicherungen zum Abzug zugelassen, wenn eine in der Schweiz steuerpflichtige Person weiterhin - ausschliesslich - dem Sozialversicherungsregime des ausländischen Staates untersteht und die Beiträge gebunden sind (Unwiderruflichkeit, Anwartschaftlichkeit), eine gesetzliche oder reglementarische Verpflichtung zur Leistung der Beiträge besteht, es sich um eine kollektive und nicht um eine Einzelvorsorge handelt, die ausländische Sozialversicherungseinrichtung anerkannt ist und die Beiträge quantitativ im Rahmen sind. Die genannte Ausschliesslichkeit wird von Praxis und Lehre allgemein in dem Sinn verstanden, dass der Steuerpflichtige nicht zugleich der schweizerischen AHV/IV bzw. dem BVG unterstellt ist und an diese Einrichtungen keine Beiträge leistet (vgl. zum Ganzen u.a. StE 2001 B 27.1 Nr. 25 E. 4; Gladys Laffely Maillard, Commentaire romand de la LIFD, Bâle 2008, N 50 ff. ad art. 33 LIFD; Locher, a.a.O., Rz. 53 und 57 zu <ref-law>; Wolfgang Maute/Martin Steiner/Adrian Rufener/Peter Lang, Steuern und Versicherungen, 3. Aufl. Muri/Bern 2011, S. 76 ff. und S. 163 ff.; Richner/Frei/Kaufmann/Meuter, a.a.O., Rz. 69 zu <ref-law>; Schweizerische Steuerkonferenz, Vorsorge und Steuern, Sektion A 9.1.1.). Mit der hier zu beurteilenden Problematik, dass ein früher begründetes Vorsorgeverhältnis auch nach dem Wechsel in die Schweiz weitergeführt wird und parallel zum neuen AHV/IV- bzw. BVG-Obligatorium besteht, haben sich Praxis und Lehre indessen soweit ersichtlich noch nicht befasst.
3.3.2 Entgegen der Auffassung des Verwaltungsgerichts handelt es sich bei keiner der drei Zahlungen des Jahres 2004 um "normale laufende Beiträge", sondern allesamt um Einkaufsbeiträge: Einerseits hatten Änderungen in der deutschen Sozialversicherungsgesetzgebung dem Beschwerdeführer ermöglicht, Lücken in seiner Grundversicherung zu schliessen. Andererseits erlaubte ihm das neue Abkommen über die Personenfreizügigkeit (vgl. dazu auch unten E. 3.4.2) ab 2002 zusätzlich, seinen Aufenthalt in der Schweiz mit in die Berechnung der "Auslandsrente" der DRV einzubeziehen, was der Beschwerdeführer bis zu seiner Pensionierung Ende Juli 2004 denn auch nutzte. Alle drei Zahlungen bezogen sich aber auf einen gesetzlichen Rentenanspruch, der als solcher vor der Übersiedelung in die Schweiz (und somit auch vor dem nachmaligen BVG-Obligatorium) entstanden war.
3.3.3 Zudem hat das Verwaltungsgericht zu wenig berücksichtigt, dass Deutschland zwar ein ähnliches Drei-Säulen-Modell (staatliche, betriebliche und private Vorsorge) wie die Schweiz kennt (vgl. ISMER, a.a.O., Rz. 2a zu Art. 18), die einzelnen Komponenten aber nicht gleich konzipiert sind wie in der Schweiz. Die hier massgeblichen drei Zahlungen betreffen Merkmale der Vorsorge, die aus schweizerischer Sicht eine Mischung aus erster und zweiter Säule darstellen. Einerseits bildet die DRV eine anerkannte Sozialversicherungseinrichtung bzw. eine juristische Person des öffentlichen Rechts (vgl. LOCHER/MEIER/VON SIEBENTHAL/KOLB, a.a.O., B 21 Nr. 4). Andererseits beziehen bzw. bezogen sich gewisse Aspekte des von der DRV wahrgenommenen Versicherungsschutzes (z.B. das ihr vorgegebene Rentenziel von 70 % des versicherten Einkommens) auch auf einen Bereich, den in der Schweiz die berufliche Vorsorge abdeckt, ohne dass die staatliche DRV deswegen aber zu einer Einrichtung der beruflichen Vorsorge würde.
3.3.4 Wenn die Vorinstanz unter diesen Umständen die drei Zahlungen der freiwilligen Selbstvorsorge zugeordnet hat, so vermag das nicht zu überzeugen. Die genannte Mischung zwischen Merkmalen der ersten und der zweiten Säule wirkt sich nämlich u.a. auch insofern aus, dass nach deutschem Recht ein "freiwilliger Einkauf" zum Erwerb zusätzlicher Beitragsjahre wohl möglich ist, aber so, dass die staatliche Vorsorge Elemente enthält, die in der Schweiz für die zweite Säule charakteristisch sind. Zudem waren die Beiträge und die Leistungen präzise auf gesetzlicher Ebene geregelt, trotz der "Freiwilligkeit" des Einkaufs. Noch deutlicher gegen eine Zuordnung der drei Zahlungen zur Säule 3b spricht, dass die Argumentation der Vorinstanz dadurch widersprüchlich wird: Einerseits nimmt das Verwaltungsgericht hier eine individuelle Selbstvorsorge an, andererseits will es die von der DRV ausgerichteten Leistungen zu 100 % mit der Einkommenssteuer erfassen.
3.3.5 Bei richtiger Betrachtung ist aus schweizerischer Sicht vielmehr folgendes anzunehmen: Hätte es sich bei der DRV um eine parallele schweizerische Einrichtung der beruflichen Vorsorge gehandelt, wären die im Jahr 2004 getätigten Einkaufsbeiträge soweit ersichtlich problemlos absetzbar gewesen. Das gilt umso mehr, als keine der Vorinstanzen ein missbräuchliches Vorgehen angenommen hat. Dementsprechend unterliegt wohl die bezogene Rente in der Schweiz vollumfänglich der Einkommenssteuer, sind die geleisteten zusätzlichen Zahlungen aber vom steuerbaren Einkommen abziehbar.
3.4 Etwas anderes ergibt sich auch nicht aus dem zwischenstaatlichen (Steuer-)Recht:
3.4.1 Auf überstaatlicher Ebene ergeben sich regelmässig Probleme mit Arbeitnehmern, die ihre Teilnahme an dem in einem bestimmten Staat errichteten Vorsorgeplan anlässlich ihrer Tätigkeit in einem anderen Staat fortführen möchten. Wenn die von ihnen geleisteten Sozialbeiträge steuerlich nicht berücksichtigt werden können, weil sie an eine ausländische Vorsorgeeinrichtung geleistet werden, so wird das auf internationaler Ebene als spezielle doppelbesteuerungsrechtliche Diskriminierung angesehen, wenn vergleichbare Zahlungen im neuen Wohnsitzstaat absetzbar wären (vgl. ISMER, a.a.O., Rz. 151 zu Art. 18). Deshalb enthalten zwischenstaatliche Steuerabkommen zunehmend Regeln, mit denen derartige Ungleichbehandlungen verhindert werden sollen. Indessen enthielt das DBA-D im hier massgeblichen Zeitpunkt unbestrittenermassen noch keine solche Regeln, unabhängig davon, dass die Diskriminierungsverbote in Doppelbesteuerungsabkommen ohnehin nur offene bzw. direkte Diskriminierungen betreffen (vgl. u.a. STEFAN OESTERHELT, Diskriminierungsverbote im internationalen Steuerrecht der Schweiz, ASA 79, S. 276 ff.).
3.4.2 Am 1. Juni 2002 ist das Abkommen vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft und ihren Mitgliedstaaten andererseits über die Freizügigkeit (Freizügigkeitsabkommen, FZA, SR 0.142.112.671) in Kraft getreten. Gemäss Art. 2 FZA dürfen Staatsangehörige von EU- Staaten bzw. der Schweiz, die sich rechtmässig im Hoheitsgebiet eines EU-Staates oder der Schweiz aufhalten, bei der Anwendung des Abkommens nicht aufgrund der Staatsangehörigkeit diskriminiert werden. Nach Art. 9 Abs. 2 von Anhang I FZA geniesst ein Arbeitnehmer, der Staatsangehöriger eines EU-Staates (oder der Schweiz) ist, im Hoheitsgebiet eines Vertragsstaats die gleichen steuerlichen Vergünstigungen wie die inländischen Arbeitnehmer. Das Verbot, Arbeitnehmer, welche von ihrer Freizügigkeit Gebrauch machen, steuerlich gegenüber Inländern zu benachteiligen, ergibt sich aber bereits aus der umfassenden Gewährleistung der Arbeitnehmerfreizügigkeit von Art. 9 Abs. 1 von Anhang 1 FZA (vgl. Oesterhelt, a.a.O., S. 289). Im Übrigen sind direkte und indirekte Diskriminierungen gleichermassen verpönt (vgl. <ref-ruling> E. 12 S. 248 f.). Art. 9 Abs. 1 bzw. 2 von Anhang 1 FZA ist direkt anwendbar und geht dem allenfalls restriktiveren Bundesrecht (Art. 9 Abs. 1 lit. d StHG) vor (vgl. <ref-ruling> E. 16.1 S. 255).
Hinsichtlich der hier zu beurteilenden Situation hat die Vorinstanz zu Recht festgehalten, dass eine direkte Diskriminierung von ausländischen Staatsangehörigen nicht zur Diskussion steht. Entgegen der Auffassung des Verwaltungsgerichts geht es indessen nicht darum, dass dem Beschwerdeführer der Einkauf in eine schweizerische Einrichtung der beruflichen Vorsorge verweigert oder erschwert würde. Fraglich sind vielmehr - bei bereits bestehendem AHV/IV- bzw. BVG-Obligatorium - unterschiedliche steuerliche Folgen des Einkaufs in eine ausländische Einrichtung der Altersvorsorge. Dieselbe Konstellation könnte gegebenenfalls auch einen Schweizer Bürger treffen, der während Jahren in Deutschland gearbeitet hätte und über einen Rentenanspruch gegenüber der DRV verfügen würde. Im Ergebnis dürften aber hauptsächlich ausländische Staatsangehörige betroffen sein, worin eine indirekte (versteckte) Diskriminierung liegen kann. Nachdem festgestellt wurde, dass eine in der Schweiz ansässige Person, die ihren Versicherungsschutz bei der zweiten Säule verbessern möchte, die hier zur Diskussion stehenden Einkaufsbeiträge ohne Weiteres steuerlich absetzen könnte, liegt eine solche indirekte Diskriminierung des Beschwerdeführers vor (vgl. im gleichen Sinn Ismer, a.a.O., Rz. 153 zu Art. 18).
4. 4.1 Gesamthaft ist festzuhalten, dass die von der DRV im Jahr 2004 (ab 1. August) an den Beschwerdeführer ausbezahlte Rente zu Recht in der Schweiz und zu 100 % steuerlich erfasst worden ist. Dagegen sind die im ersten Halbjahr an die gleiche Einrichtung geleisteten drei Zahlungen entgegen der Auffassung der Vorinstanz vom steuerbaren Einkommen abziehbar. Daraus ergibt sich u.a auch, warum nicht näher auf die Argumentation der Beschwerdeführer eingegangen wurde, die von der DRV ausbezahlte Rente sei nur zu 40 % zu erfassen. Dieses Argument wurde nämlich nur für den Fall erhoben, dass die genannten drei Zahlungen als nicht abzugsfähig eingestuft würden (vgl. oben E. 2.3).
4.2 Dementsprechend ist die Beschwerde gutzuheissen und das angefochtene Urteil aufzuheben. Das macht eine Neuregelung der Kosten- und Entschädigungsfolgen im kantonalen Verfahren sowie eine Neuveranlagung im Sinne der Erwägungen notwendig.
4.3 Bei diesem Ausgang des Verfahrens wird der Kanton kosten- und entschädigungspflichtig (vgl. Art. 65 f. BGG u. 68 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die Staats- und Gemeindesteuer 2004 wird gutgeheissen, und das Urteil des Verwaltungsgerichts des Kantons St. Gallen vom 11. Mai 2010 wird aufgehoben. Die Sache wird zur Neuregelung der Kosten- und Entschädigungsfolgen im kantonalen Verfahren an das Verwaltungsgericht des Kantons St. Gallen und zur Neuveranlagung im Sinne der Erwägungen an das Kantonale Steueramt St. Gallen zurückgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Kanton St. Gallen auferlegt.
3. Der Kanton St. Gallen hat die Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4. Dieses Urteil wird den Beschwerdeführern, dem Kantonalen Steueramt St. Gallen, dem Verwaltungsgericht des Kantons St. Gallen und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 21. März 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Matter