Sachverhalt:
A. A.a Der 1965 geborene G._ war als Altstoffhändler tätig. Am 3. August 2005 meldete er sich unter Angabe einer unfallbedingten Schulterverletzung bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons St. Gallen untersuchte den medizinischen Sachverhalt und die beruflich-erwerblichen Verhältnisse. Gestützt darauf ermittelte sie einen Invaliditätsgrad von 12 %. Mit Verfügung vom 27. August 2007 wies sie das Leistungsbegehren ab.
A.b Das Versicherungsgericht des Kantons St. Gallen hiess die dagegen gerichtete Beschwerde mit Entscheid IV 2007/357 vom 8. Juni 2009 teilweise gut. Es hob die Verfügung auf und wies die Sache zu weiteren Abklärungen und zum Neuentscheid zurück. Dazu erwog es, es seien bislang nur die körperlichen Einschränkungen berücksichtigt worden. In den Akten liegende Berichte und Einschätzungen böten Anhaltspunkte dafür, dass psychische Ursachen gegen die Zumutbarkeit einer unselbstständigen Vollzeit-Hilfsarbeit des Versicherten sprechen würden. Dies sei zu wenig abgeklärt.
A.c Frau Dr. med. H._, Fachärztin für Psychiatrie beim Regionalen Ärztlichen Dienst (RAD), hielt am 24. September 2009 auf Nachfrage der IV-Stelle sinngemäss fest, es sei keine medizinische oder gar psychiatrische Frage aufgeworfen. Da der Versicherte "der Bevölkerungsgruppe der Fahrenden" angehöre, sei bei ihm "eine mangelnde Flexibilität bei Betätigungsalternativen" kulturell bedingt. Es fänden sich in den Akten keine Hinweise darauf, dass ihm eine unselbstständige Tätigkeit aus psychischen Gründen nicht möglich sei. Eine weitere psychiatrische Abklärung sei darum nicht sinnvoll. Mit der Begründung, eine psychiatrische Abklärung sei nicht zielführend, kündigte die IV-Stelle dem Versicherten mit Vorbescheid vom 2. Oktober 2009 die erneute Abweisung des Leistungsbegehrens an. G._ erhob Einwand und rügte, die RAD-Stellungnahme sei untauglich und setze sich - wie auch die IV-Stelle - über die Vorgaben im Rückweisungsentscheid hinweg. Mit Verfügung vom 30. Oktober 2009 wies die IV-Stelle das Rentengesuch ab (Invaliditätsgrad von 10 %).
B. Mit Entscheid des Einzelrichters vom 25. August 2011 hiess das Versicherungsgericht des Kantons St. Gallen die gegen die Verfügung vom 30. Oktober 2009 gerichtete Beschwerde gut; es wies die Sache an die Verwaltung zurück, weil der Sachverhalt noch nicht soweit abgeklärt sei, dass der zur Anspruchsprüfung erforderliche Einkommensvergleich vorgenommen werden könne.
C. Die IV-Stelle führt Beschwerde in öffentlich-rechtlichen Angelegenheiten. Sie beantragt Aufhebung des vorinstanzlichen Entscheides und Rückweisung der Sache an das Gericht zur Neubeurteilung in gesetzmässiger Besetzung; eventualiter sei die Verfügung vom 30. Oktober 2009 letztinstanzlich zu bestätigen.
Erwägungen:
1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (BGE 135 III 1 E. 1.1 S. 3). Die Beschwerde an das Bundesgericht ist zulässig gegen das Verfahren abschliessende Endentscheide (Art. 90 BGG), und gegen Teilentscheide, die nur einen Teil der gestellten Begehren behandeln, wenn diese unabhängig von den anderen beurteilt werden können, oder die das Verfahren nur für einen Teil der Streitgenossen und Streitgenossinnen abschliessen (Art. 91 BGG). Gegen selbstständig eröffnete Vor- und Zwischenentscheide ist hingegen die Beschwerde nur zulässig, wenn sie die Zuständigkeit oder den Ausstand betreffen (Art. 92 BGG), einen nicht wieder gutzumachenden Nachteil bewirken können (Art. 93 Abs. 1 lit. a BGG; BGE 133 V 645 E. 2.1 S. 647; 133 V 477 E. 5.2 S. 483) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Art. 93 Abs. 1 lit. b BGG). Rückweisungsentscheide, mit denen eine Sache zur neuen Entscheidung an die Vorinstanz zurückgewiesen wird, sind Zwischenentscheide, die alleine unter den genannten Voraussetzungen beim Bundesgericht angefochten werden können (BGE 133 V 477 E. 4.2 S. 481 f.). Anders verhält es sich nur dann, wenn der unteren Instanz, an welche zurückgewiesen wird, kein Entscheidungsspielraum mehr verbleibt und die Rückweisung nur noch der Umsetzung des oberinstanzlich Angeordneten dient (SVR 2008 IV Nr. 39 S. 131, 9C_684/2007 E. 1.1).
2. Es kann offenbleiben, inwieweit es sich bei der Rüge, der angefochtene Entscheid sei nicht in richtiger Besetzung gefällt worden, um eine Zuständigkeitsfrage handelt. So oder anders liegt keine Verletzung der Entscheidkompetenz vor.
2.1 Nach dem st. gallischen Gerichtsgesetz und der kantonalen Verordnung über die Organisation und den Geschäftsgang des Versicherungsgerichts (sGS 941.1; 941.114) können zum Entscheid über einfache Fälle Einzelrichter vorgesehen werden (Art. 17 Abs. 2 Gerichtsgesetz); als einfache Fälle gelten insbesondere Streitsachen mit einem unbestrittenen oder eindeutigen Sachverhalt, die aufgrund einer klaren Rechtslage und einer feststehenden Gerichtspraxis beurteilt werden können (Art. 19 Abs. 1 und 2 Organisationsverordnung).
2.2 Diese Regelung genügt den für den Bereich der Invalidenversicherung bundesrechtlich gestellten Anforderungen an das kantonale Rechtspflegeverfahren (Art. 61 ATSG i.V.m. Art. 1 Abs. 3 VwVG und Art. 69 IVG). Die Rüge, der Einzelrichter habe seine Kompetenz überschritten, da er nicht von einem unbestrittenen oder eindeutigen Sachverhalt hätte ausgehen dürfen, ist unbegründet. Es war nicht über einen für einen Sachentscheid relevanten Sachverhalt zu entscheiden, sondern lediglich, dass der erste vorinstanzliche Entscheid noch nicht umgesetzt worden war. Dies festzustellen lag - angesichts der insofern eindeutigen Verhältnisse - in der Kompetenz des Einzelrichters. Sein Entscheid verstösst somit nicht gegen die Garantie des gesetzmässigen Richters gemäss Art. 30 Abs. 1 BV, worauf sich die Beschwerdeführerin beruft.
3. Was die einzelrichterliche Rückweisung vom 25. August 2011 betrifft, ist die Beschwerde unzulässig: Wenn die Beschwerdeführerin die an sich unbestrittene Nichtumsetzung des ersten kantonalen Entscheides damit begründet, es sei nicht einzusehen, warum dem psychisch gesunden Versicherten der Wechsel von einer selbstständigen zu einer unselbstständigen Tätigkeit unzumutbar sein solle, ist nicht ersichtlich, inwieweit ihr ohne ein schon jetzt letztinstanzlich gefälltes Sachurteil ein nicht wieder gutzumachender Nachteil entstehen könnte. Die Vorinstanz hat nie Anordnungen getroffen, die die Verwaltung materiell-rechtlich binden und zwingen würden, eine aus ihrer Sicht rechtswidrige Verfügung zu treffen (siehe BGE 133 V 477 E. 5.2, 5.2.1-5.2.4 S. 483 ff.; Urteile 8C_531/2008 vom 8. April 2009 E. 1.2.1 mit Hinweisen und 8C_682/2007 vom 30. Juli 2008 E. 1.2.1). Zudem kann nach ständiger Rechtsprechung (vgl. Urteil 9C_329/2011 vom 27. September 2011 E. 3.3 mit zahlreichen Hinweisen) durch die Aufhebung von Rückweisungsentscheiden, mit denen einzig eine ergänzende Sachverhaltsabklärung angeordnet wird, grundsätzlich auch kein bedeutender Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren erspart werden. Die selbstständige Anfechtbarkeit von Zwischenentscheiden aus prozessökonomischen Gründen stellt insoweit eine restriktiv zu handhabende Ausnahme dar.
4. Bei diesem Ausgang des Verfahrens wird die unterliegende Beschwerdeführerin kostenpflichtig (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 22. November 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Schmutz