Sachverhalt:
A. H._ war von Januar 1995 bis April 2005 (Erhalt der Niederlassungsbewilligung) quellensteuerpflichtig. Seit Februar 2003 bezieht er eine halbe Invalidenrente. Im Zuge eines Wechsels der zuständigen Ausgleichskasse (wegen Ausrichtung von Ergänzungsleistungen) erfolgten die Rentenzahlungen ab Juni 2004 - im Gegensatz zu vorher - ohne Abzug der Quellensteuer. Das Kantonale Steueramt St. Gallen teilte der Sozialversicherungsanstalt des Kantons St. Gallen diesen Sachverhalt am 27. Oktober 2005 mit, wies sie darauf hin, sie sei als Schuldnerin der steuerbaren Leistung für die Entrichtung der Quellensteuer haftbar, und forderte sie auf, vollständig über die Quellensteuer abzurechnen. Mit Verfügung vom 30. November 2005 forderte die kantonale Ausgleichskasse für den Zeitraum von Juni 2004 bis April 2005 beim Versicherten den Betrag von Fr. 1854.- zurück. Auf Einsprache des H._ hin hielt die Sozialversicherungsanstalt des Kantons St. Gallen an der Rückforderung fest (Entscheid vom 10. Februar 2006).
B. Das Versicherungsgericht des Kantons St. Gallen hiess die gegen den Einspracheentscheid gerichtete Beschwerde insoweit gut, als es diesen aufhob (Entscheid vom 10. Oktober 2006).
C. Die kantonale Sozialversicherungsanstalt führt Verwaltungsgerichtsbeschwerde mit dem Antrag, der vorinstanzliche Entscheid sei aufzuheben.
Der Versicherte lässt auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen; ausserdem ersucht er um Gewährung der unentgeltlichen Rechtspflege. Das Bundesamt für Sozialversicherungen verzichtet auf Vernehmlassung.

Erwägungen:
1. 1.1 Das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) ist am 1. Januar 2007 in Kraft getreten (AS 2006 1205, 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>; <ref-ruling> E. 1.2 S. 395).
1.2 Der angefochtene Entscheid betrifft Leistungen der Invalidenversicherung. Das Bundesgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 Abs. 2 OG [in der Fassung gemäss Ziff. III des Bundesgesetzes vom 16. Dezember 2005 über die Änderung des IVG, in Kraft seit 1. Juli 2006] in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2. Nach <ref-law> sind unrechtmässig bezogene Leistungen zurückzuerstatten. Wer Leistungen in gutem Glauben empfangen hat, muss sie nicht zurückerstatten, wenn eine grosse Härte vorliegt. Über Rückforderung und - gegebenenfalls - Erlass derselben wird in der Regel in zwei Schritten verfügt (Art. 3 und 4 ATSV; Urteil P 62/04 vom 6. Juni 2005, E. 1.2). Auf die Rückerstattung kann bereits im Rahmen der (ersten) Verfügung über die Rückforderung nur verzichtet werden, wenn offensichtlich ist, dass die Voraussetzungen für den Erlass gegeben sind (<ref-law>). Der im Streit liegende Einspracheentscheid beschlägt nur die Frage der Rückforderung; in dessen Begründung heisst es sinngemäss, bei Eingang eines entsprechenden Gesuchs werde über den Erlass gesondert verfügt. Streitig ist auch im letztinstanzlichen Verfahren allein die Frage der Rechtmässigkeit der Rückforderung an sich.
3. Zu prüfen ist, ob die Sozialversicherungsanstalt die irrtümlich nicht von Rentenbetreffnissen abgezogenen Quellensteuerbeträge zu Recht zum Gegenstand einer Rückerstattungsverfügung gemäss <ref-law> gemacht hat.
3. Zu prüfen ist, ob die Sozialversicherungsanstalt die irrtümlich nicht von Rentenbetreffnissen abgezogenen Quellensteuerbeträge zu Recht zum Gegenstand einer Rückerstattungsverfügung gemäss <ref-law> gemacht hat.
3.1 3.1.1 Das kantonale Gericht hat erwogen, die bezogene Sozialversicherungsleistung sei nur dann eine im Sinne von <ref-law> unrechtmässig entgegengenommene Leistung, wenn die Zusprache durch Wiedererwägung (<ref-law>) oder prozessuale Revision (<ref-law>) rückwirkend korrigierbar sei. Dafür fehlten indes die Voraussetzungen, weil es nicht um eine ursprünglich zweifellos unrichtige Rentenverfügung gehe und auch keine revisionsbegründenden Tatsachen oder Beweismittel mit Bezug auf den sozialversicherungsrechtlichen Tatbestand aufgefunden worden seien. <ref-law> sei somit nicht auf den vorliegenden Sachverhalt anwendbar. Der gegenüber der Veranlagungsbehörde nachzahlungspflichtige Sozialversicherungsträger, dem ein Rückgriff auf den Steuerpflichtigen vorbehalten werde (<ref-law>), trete von Gesetzes wegen in die Steuerforderung ein. Der Rückgriff könne nicht Gegenstand einer Rückforderungsverfügung des Sozialversicherungsträgers sein, weil dieser mit der Subrogation bereits einen Titel erworben habe, um nicht oder zu wenig zurückbehaltene Quellensteuern beim Pflichtigen einzufordern. Der Rückgriffsanspruch sei privatrechtlicher Natur und dementsprechend auf dem Zivilweg zu verfolgen.
3.1.2 Die beschwerdeführende Behörde verweist darauf, zahlreiche Fehler wie eine Doppelauszahlung der Sozialversicherungsleistung, Störungen der EDV oder eben ein Nichtabzug der Quellensteuer könnten zu ungerechtfertigten Zahlungen an versicherte Personen führen. Vorliegend seien zu hohe Rentenbeträge ausgerichtet worden. Die entsprechende Korrektur sei nach den Regeln des <ref-law> verfügungsfähig. Anders zu entscheiden hiesse, dass auch der Abzug der Quellensteuer nicht Gegenstand einer Verfügung der Invalidenversicherung sein könne.
3.1.3 Der Beschwerdegegner stellt sich auf den Standpunkt, es gehe nicht im eigentlichen Sinne um unrechtmässig bezogene Leistungen. Der Abzug der Quellensteuer entspreche nicht einer Reduktion der Rentenleistung. Wer mit dem Steuerabzug nicht einverstanden sei, werde vom Gesetz auf ein steuerrechtliches Verfahren verwiesen (Art. 137 und 139 DBG). Sei die Grundanordnung des Abzugs Gegenstand einer steuerrechtlichen Veranlagung, so könne die gleiche Frage bei unterbliebenem Abzug nicht anders eingeordnet werden.
3.2 Die Quellensteuer ist eine gesetzlich vorgesehene besondere Art der Steuererhebung, welche darin besteht, dass die geschuldete Steuer durch einen Abzug vom steuerpflichtigen Einkommen (Erwerbseinkommen oder Ersatzeinkünfte) erhoben wird (Zweifel/Athanas [Hrsg.], Kommentar zum schweizerischen Steuerrecht, Bd. I/1 S. 423 ff. und Bd. I/2b S. 2 ff.; Höhn/Athanas [Hrsg.], Das neue Bundesrecht über die direkten Steuern, S. 382 ff.). Die Steuer ist nicht vom Leistungsbezüger, sondern vom Schuldner der Leistung, bei sozialversicherungsrechtlich begründeten Ersatzeinkünften somit vom Sozialversicherungsträger zu entrichten (vgl. hierzu Adrian Rufener, Zur Erfassung von "Ersatzeinkünften" mit der Quellensteuer nach dem DBG und dem StHG, in: ASA 63/1994 S. 97 ff., insbesondere S. 127 f.).
Der Quellensteuer unterworfen sind alle an die Stelle des Erwerbseinkommens tretenden Ersatzeinkünfte quellensteuerpflichtiger Personen aus Arbeitsverhältnis sowie aus Kranken-, Unfall-, Invaliden- und Arbeitslosenversicherung (Art. 84 Abs. 2 des Bundesgesetzes über die direkte Bundessteuer [DBG]; Art. 3 Abs. 1 der Quellensteuerverordnung [QStV] vom 19. Oktober 1993; vgl. auch Art. 32 Abs. 3 des Bundesgesetzes über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG]). Gemäss <ref-law> ist der Schuldner der steuerbaren Leistung verpflichtet, bei Fälligkeit von Geldleistungen die geschuldete Steuer zurückzubehalten. Ist der Steuerpflichtige oder der Schuldner der steuerbaren Leistung mit dem Steuerabzug nicht einverstanden, kann er von der Veranlagungsbehörde eine einsprachefähige Verfügung über Bestand und Umfang der Steuerpflicht verlangen (Art. 137 und 139 DBG). Die Ausgleichskasse setzt sich mit der zuständigen Steuerbehörde in Verbindung, wenn Anhaltspunkte dafür bestehen, dass eine Quellensteuerpflicht gegeben sein könnte. Die Steuerbehörde teilt ihr mit, ob eine Steuerpflicht besteht und welcher Tarif zur Anwendung gelangt, worauf die Ausgleichskasse den entsprechenden Abzug vornimmt und die Quellensteuer der zuständigen Steuerverwaltung überweist (vgl. Rz. 26 ff. des Kreisschreibens des Bundesamtes für Sozialversicherungen über die Quellensteuer; Urteil I 530/00 vom 7. März 2001, E. 3b/bb und cc).
3.3 <ref-law> sieht vor, dass ein unrechtmässiger Leistungsbezug rückgängig gemacht wird, indem der Empfänger auf dem Weg der Verfügung verpflichtet wird, die ohne Rechtsgrund erbrachte Leistung zu erstatten. Erfasst werden alle Bezüge, die mit einer - für Bestand, Art oder Höhe der Leistungsausrichtung bestimmenden - Norm des gesamten Rechts unvereinbar sind. Demzufolge kann der Rückforderungsgrund durchaus auch ausserhalb der tatsächlichen oder rechtlichen Grundlagen des sozialversicherungsrechtlichen Leistungsanspruchs liegen. Es besteht keine Beschränkung der Rückforderbarkeit auf den originären Inhalt einer sozialversicherungsrechtlichen Verfügung. Unerheblich ist, ob die zur Rückforderung Anlass gebenden Leistungen förmlich oder formlos verfügt worden sind (<ref-ruling> E. 1.1). Das Eidgenössische Versicherungsgericht hat denn auch mit Bezug auf die damals geltende - und seit anfangs 2003 durch <ref-law> abgelöste - spezialgesetzliche Rückerstattungsnorm des <ref-law> festgehalten, für die Rückerstattungspflicht und die Möglichkeit zur verfügungsweisen Durchsetzung spiele es keine Rolle, aus welchem Grund es zur Unrechtmässigkeit der Auszahlung gekommen sei; das Gesetz verlange einzig den unrechtmässigen Leistungsbezug und differenziere nicht danach, warum die Leistung zu Unrecht geflossen sei (Urteile E 1/94 vom 9. Juni 1994, E. 2b, und C 314/00 vom 15. Dezember 2000, E. 3b und c; Meyer-Blaser, Die Rückerstattung von Sozialversicherungsleistungen, in: ZBJV 1995 S. 477 f.). Demgemäss bejahte das Gericht die verfügungsmässige Rückforderbarkeit einer versehentlich an einen Nichtberechtigten überwiesenen Erwerbsausfallentschädigung. Der Leitsatz, wonach es auf den Grund der unrechtmässigen Ausrichtung nicht ankommt, bleibt unter der Herrschaft des ATSG unverändert gültig, zumal die für die Rückerstattung massgeblichen Prinzipien aus der Rechtsprechung zur früheren Regelung übernommen werden können (vgl. <ref-ruling>). Der Abzug der Quellensteuer erfolgt im Rahmen der Abwicklung des Sozialversicherungsverhältnisses, auch wenn Bestand und Umfang der Quellensteuerpflicht - im Bestreitungsfall - in einem steuerrechtlichen Verfahren festgestellt werden (vgl. Art. 137 und 139 DBG) und die Leistungsverfügung des Sozialversicherungsträgers insoweit keine eigene rechtsgestaltende Bedeutung hat, sondern lediglich steuerbehördliche Vorgaben umsetzt. Deswegen ist die Verwaltung als Leistungsschuldnerin im hier interessierenden Zusammenhang befugt (und verpflichtet), infolge ihrer öffentlich-rechtlich begründeten Haftung für die Entrichtung der Quellensteuer (<ref-law>; Art. 37 Abs. 1 StHG) eine Rückerstattungsverfügung gegenüber dem Leistungsempfänger zu erlassen.
3.4 Die Sozialversicherungsanstalt hat die irrtümlich nicht von Rentenbetreffnissen abgezogene Quellensteuer somit zu Recht auf dem Weg einer Verfügung nach <ref-law> vom Beschwerdegegner zurückgefordert. Ob das Erfordernis, dass die für die Wiedererwägung oder die für die prozessuale Revision gegebenen Voraussetzungen erfüllt sein müssen (<ref-ruling> E. 5.2 S. 320 mit Hinweisen), nur das Rückkommen auf Elemente einer formell rechtskräftigen Verfügung über sozialversicherungsrechtliche Leistungsansprüche betrifft, kann vorliegend offen bleiben. Denn der versehentliche Nichtabzug der Quellensteuer vom Rentenbetreffnis ist zweifellos unrichtig. Das Erfordernis der erheblichen Bedeutung der Berichtigung ist ebenfalls erfüllt.
Die Erlassfrage ist nicht Gegenstand dieses Verfahrens (oben E. 2). Dementsprechend kann an dieser Stelle offengelassen werden, in welchem Verhältnis der sozialversicherungsrechtliche Erlass der Rückforderung (<ref-law>) zum Erlass der Steuer nach <ref-law> steht.
4. 4.1 Das Verfahren ist kostenpflichtig (Art. 134 Satz 2 OG). Die unentgeltliche Rechtspflege (Prozessführung und Verbeiständung; Art. 152 in Verbindung mit Art. 135 OG) kann gewährt werden (<ref-ruling> E. 4a S. 202 und 371 E. 5b S. 372). Es wird indessen ausdrücklich auf Art. 152 Abs. 3 OG aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.
4.2 Das beschwerdegegnerische Begehren, eine allfällige Parteientschädigung sei - zur Abwendung einer unerwünschten Verrechnung durch die Sozialversicherungsanstalt - direkt dem Rechtsvertreter zuzusprechen, ist bei diesem Verfahrensausgang gegenstandslos, weil die Vertretungskosten bei unentgeltlicher Rechtspflege - im Gegensatz zu Parteientschädigungen - ohnehin direkt dem Parteivertreter erstattet werden. Entsprechendes gilt für die allfällige Gewährung der unentgeltlichen Verbeiständung für das vorinstanzliche Beschwerde- (<ref-law>) sowie für das Einspracheverfahren (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird gutgeheissen und der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 10. Oktober 2006 aufgehoben.
2. Dem Beschwerdegegner wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten für das bundesgerichtliche Verfahren von Fr. 500.- werden dem Beschwerdegegner auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Zufolge Gewährung der unentgeltlichen Verbeiständung wird Rechtsanwalt Ehrenzeller, Teufen, für das Verfahren vor dem Bundesgericht aus der Gerichtskasse eine Entschädigung von Fr. 2000.- (einschliesslich Mehrwertsteuer) ausgerichtet.
5. Die Akten werden dem Versicherungsgericht des Kantons St. Gallen zugestellt, damit es über das Gesuch um unentgeltliche Verbeiständung für das kantonale Verfahren und das Einspracheverfahren entscheide.
6. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, der Ausgleichskasse des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. Januar 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Traub