Sachverhalt:
A. Die Ehe zwischen den rubrizierten Parteien wurde am 4. Januar 2007 geschieden. Dabei wurde die Tochter Y._, geb. xxxx 1997, unter der gemeinsamen elterlichen Sorge belassen, jedoch unter das Obhutsrecht der Mutter gestellt, unter Einräumung eines Besuchsrechts an den Vater und Verpflichtung desselben zu Kinderalimenten von Fr. 900.-- zzgl. allfälliger Kinderzulagen.
B. Mit Schreiben vom 12. März 2010 gelangte der Vater ans Kreisgericht Rheintal mit dem Antrag auf "sofortigen Wohnsitzwechsel von Y._ ... an meine Adresse". Nach zahlreichen Abklärungen erliess das Kreisgericht am 12. Mai 2010 eine dringliche Verfügung, mit welcher es das Obhutsrecht über Y._ per 15. Mai 2010 auf den Vater übertrug. Nach weiteren Abklärungen bestätigte das Kreisgericht die betreffende Anordnung mit vorsorglichem Massnahmeentscheid vom 8. März 2011, indem es die Kinderbelange für die Dauer des Abänderungsverfahrens wie folgt regelte: Belassen des per 15. Mai 2010 übertragenen Obhutsrechts beim Vater; Einstellung des Besuchsrechts zur Mutter im gegenseitigen Einvernehmen; Anweisung an die Vormundschaftsbehörde zur Ausweitung der Beistandschaft auf eine solche gemäss Art. 308 Abs. 1 und 2 ZGB; Weisung an die Mutter zur Anmeldung der Tochter in A._ sowie zur Herausgabe diverser persönlicher Gegenstände des Kindes; Verpflichtung der Mutter zu Kinderalimenten von Fr. 750.-- ab November 2010.
Dagegen erhob die Mutter eine Berufung. In seinem Entscheid vom 19. August 2011 bestätigte das Kantonsgericht St. Gallen die erstinstanzliche Regelung mit den beiden Modifikationen, dass es den Aufgabenkreis der Beistandschaft präzisierte und die von der Mutter geschuldeten Kinderalimente auf Fr. 700.-- festsetzte.
C. Gegen diesen Entscheid hat die Mutter am 22. September 2011 eine Beschwerde in Zivilsachen eingereicht mit den Begehren um dessen Aufhebung (mit Ausnahme der Regelung der Beistandschaft) und um Rückweisung der Sache an die Vorinstanz. Ausserdem ersuchte sie um aufschiebende Wirkung, welche mit Verfügung vom 27. September 2011 abgewiesen wurde. Es wurden keine Vernehmlassungen eingeholt.
Erwägungen:
1. Angefochten ist eine kantonal letztinstanzliche vorsorgliche Massnahme in einem Abänderungsverfahren betreffend Kinderbelange, gegen welche die Beschwerde in Zivilsachen offen steht (Art. 72 Abs. 1, Art. 75 Abs. 1 und Art. 90 BGG).
Indes sind die Rügegründe bei vorsorglichen Massnahmen insofern beschränkt, als nur die Verletzung verfassungsmässiger Rechte geltend gemacht werden kann (Art. 98 BGG). Hierfür gilt das strenge Rügeprinzip (Art. 106 Abs. 2 BGG). Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt. Wird die Verletzung des Willkürverbots gerügt, reicht es sodann nicht aus, die Rechtslage aus Sicht des Beschwerdeführers darzulegen und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen; vielmehr ist im Einzelnen darzulegen, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (BGE 134 II 244 E. 2.2 S. 246).
In der Beschwerde in Zivilsachen dürfen überdies keine neuen Tatsachen und Beweismittel vorgebracht werden, es sei denn, erst der Entscheid der Vorinstanz habe dazu Anlass gegeben (Art. 99 Abs. 1 BGG). In der Beschwerde ist darzutun, inwiefern die Voraussetzung für eine nachträgliche Einreichung von Tatsachen und Beweismitteln erfüllt sein soll (BGE 133 III 393 E. 3 S. 395). Diese Voraussetzungen sind mit Bezug auf den mit der Begründung, die Tochter mache auch bei der aktuellen Beschulung Probleme, gestellten Beweisantrag auf Einholung von Berichten beim Schulinstitut und der Beiständin nicht gegeben.
2. Umstritten ist zunächst die Regelung des Obhutsrechts.
2.1 Nach den Feststellungen und Erwägungen des Kantonsgerichts verlangt die Mutter gar nicht (mehr) die faktische Obhut über die Tochter, sondern deren Fremdplatzierung. Eine Rückkehr zur Mutter komme aufgrund der verschiedenen Auseinandersetzungen und Vorkommnisse sowie dem strikten Zuteilungswunsch der Tochter denn auch gar nicht in Betracht. Dementsprechend gehe es noch um die Frage, ob die Obhut damit dem Vater zu übertragen bzw. bei diesem zu belassen oder ob die Tochter fremdzuplatzieren sei, wie die Mutter dies beantrage. Mit Bezug auf die Unterbringung der Tochter ist festzuhalten, dass diese, nachdem die ordentliche Beschulung wiederholt untragbar geworden war, aufgrund der Bemühungen des Beistandes und im Einverständnis beider Elternteile seit dem 15. August 2011 im "B._" beschult werden kann. Dabei handelt es sich um ein Internat, wo sie sich jeweils von Sonntagabend bis Samstagmittag aufhält. Demnach bedürfe sie, wie das Kantonsgericht erwog, für die Wochenenden und während der Schulferien weiterhin einer anderen Betreuung. Diesbezüglich verfüge der Vater über genügende Erziehungs- und Betreuungsfähigkeiten, was der erstinstanzliche Richter detailliert aufgezeigt habe (gemäss erstinstanzlichem Urteil sind der Vater und dessen Lebenspartnerin bemüht, klare Regeln vorzugeben und diese auch durchzusetzen; das Verhältnis zwischen Tochter und Vater ist vertraut und natürlich; Meinungsverschiedenheiten werden adäquat geregelt; die Tochter fühlt sich wohl und hat auch zur Lebenspartnerin des Vaters Vertrauen). Jedenfalls seit der Beschulung der Tochter im Internat würde sich ein auf Art. 310 ZGB gestützter Entzug des Obhutsrechts gegenüber dem Vater und eine Fremdplatzierung in einer Pflegefamilie als unverhältnismässig erweisen, zumal seither auch das Spannungsverhältnis, in welches die Tochter wegen des elterlichen Konfliktes geraten sei, nicht mehr bestehe.
2.2 Im Zusammenhang mit der Obhutsregelung macht die Mutter längere Ausführungen zum Sachverhalt und behauptet in verschiedener Hinsicht Willkür. Sodann macht sie geltend, das ihr im Scheidungsurteil übertragene Obhutsrecht dürfe ihr nur aufgrund eines kinderpsychiatrischen/kinderpsychologischen Gutachtens entzogen werden. Indem das Kantonsgericht (wie bereits der erstinstanzliche Richter) ein solches verweigert habe, sei ihr rechtliches Gehör verletzt worden.
2.3 Nicht zu hören sind zunächst die appellatorischen Sachverhaltsschilderungen (sie selbst habe die Gefährdung des Kindes zuerst erkannt; der Vater sei unkooperativ und habe eine Fremdbetreuung des Kindes verweigert; dieses Verhalten verhindere einen wirksamen Kindesschutz; die Situation des Kindes habe sich unter der Obhut des Vaters dramatisch verschlechtert; umgekehrt habe sie sich immer für eine optimale Versorgung des Kindes bemüht; sie habe sich einzig deshalb zurückgezogen, um dem Kind den Loyalitätskonflikt zu ersparen, weshalb ihr Zurückstehen Ausdruck grosser Liebe und Rücksichtnahme sei), mit welchen die Mutter ohne Bezugnahme auf den angefochtenen Entscheid einfach ihre eigene Sicht der Dinge schildert; damit wird dem Rügeprinzip (dazu E. 1) in keiner Weise Rechnung getragen und kann folglich dem für das Bundesgericht grundsätzlich verbindlich festgestellten Sachverhalt im angefochtenen Entscheid (vgl. Art. 105 Abs. 1 BGG) nicht begegnet werden.
Sodann ist keine Willkür zu sehen im Zusammenhang mit dem Umstand, dass das Kantonsgericht die Übertragung bzw. Belassung des Obhutsrechts beim Vater als notwendig erachtete, um die erforderlichen Handlungsmöglichkeiten zu garantieren: Es ist erstellt, dass ein Zusammenwirken zwischen den Eltern unmöglich und deshalb Entscheide über verschiedene Fragen, die im Rahmen der Obhutsausübung und mitunter rasch zu treffen sind (z.B. Schule, Gesundheit, Freizeit), gefährdet erscheinen. Sodann trifft es entgegen der Behauptung der Mutter nicht zu, das der Beistand bei Uneinigkeit anstelle der Eltern handeln kann, ist doch dieser nicht Träger des Obhuts- und Sorgerechts, sondern allein zur Wahrnehmung der ihm im Sinn von Art. 308 Abs. 1 und 2 ZGB übertragenen Aufgaben befugt. Vor diesem Hintergrund erscheint eine Übertragung bzw. Belassung des Obhutsrechts beim Vater als angezeigt und jedenfalls nicht als willkürlich. Ebenso wenig ist angesichts der ausführlichen Erwägungen im angefochtenen Entscheid eine Verletzung der Begründungspflicht als Teilgehalt des rechtlichen Gehörs ersichtlich.
Was sodann die Ablehnung einer Begutachtung anbelangt, hat das Kantonsgericht festgehalten, soweit diese mit Blick auf das Hauptverfahren beantragt würde, sei die Anordnung Sache des erstinstanzlichen Sachrichters in jenem Verfahren, und soweit sie mit Blick auf die vorsorglichen Massnahmen beantragt würde, sprenge sie den Rahmen des betreffenden Verfahrens. Diese Begründung ist weder willkürlich noch gehörsverletzend: Entgegen der Behauptung der Mutter erfordert der vorsorgliche Obhutsentzug keineswegs ausnahmslos ein Gutachten. Vielmehr darf auf eine Begutachtung verzichtet werden, wenn der massgebliche Sachverhalt auf andere Weise abgeklärt werden kann, namentlich durch Beizug von Amtsberichten (Urteil 5P.84/2006 vom 3. Mai 2006 E. 3.2). Dem Sachrichter steht diesbezüglich im Rahmen der antizipierten Beweiswürdigung ein erheblicher Ermessensspielraum zu. Dass und inwiefern im vorliegenden Fall ein Ermessensmissbrauch vorliegen würde, wird vor dem Hintergrund der detaillierten Abklärung der Sachlage namentlich auf der Grundlage zahlreicher Berichte nicht mit einer dem Rügeprinzip genügender Substanziierung dargetan (dazu E. 1).
Soweit eine Verletzung des Willkürverbotes gerügt wird im Zusammenhang mit der Fristansetzung zur Anhebung des Hauptprozesses, wird nicht aufgezeigt, inwiefern dies bereits vor Kantonsgericht thematisiert worden wäre. Das Vorbringen ist demnach neu und folglich unbeachtlich (Art. 99 Abs. 1 BGG).
2.4 An der Sache vorbei geht schliesslich die Behauptung, es handle sich um ein offensichtliches Versehen, dass die Pflicht zur Herausgabe der persönlichen Gegenstände des Kindes in der Berufung nicht aufgeführt worden sei, weshalb es überspitzten Formalismus darstelle, wenn das Kantonsgericht diesen Punkt im Berufungsentscheid nicht behandelt habe:
Überspitzter Formalismus ist eine besondere Form der Rechtsverweigerung (Art. 29 Abs. 1 BV), die vorliegt, wenn für ein Verfahren rigorose Formvorschriften aufgestellt werden, ohne dass die Strenge sachlich gerechtfertigt wäre, wenn die Behörde formelle Vorschriften mit übertriebener Schärfe handhabt oder an Rechtsschriften überspannte Anforderungen stellt und damit dem Bürger den Rechtsweg in unzulässiger Weise versperrt (BGE 135 I 6 E. 2.1 S. 9).
Eine solche Konstellation ist vorliegend offensichtlich nicht gegeben, wenn die Mutter die sie zur Herausgabe diverser persönlicher Gegenstände des Kindes anweisende Dispositivziffer des erstinstanzlichen Urteils explizit von der Berufung ausgenommen hat, zumal in Verletzung der Rügepflicht nicht aufgezeigt wird, an welcher Stelle in der Berufungsbegründung angeblich gegenteilige bzw. auf ein offensichtliches Versehen schliessen lassende Ausführungen gemacht worden wären.
3. Die Mutter ficht den ihr auferlegten Kindesunterhalt an.
3.1 Unbestrittenermassen verdient die Mutter rund Fr. 4'400.-- netto. Das Kantonsgericht hat erwogen, der erstinstanzliche Richter habe in Anlehnung an die "Zürcher Empfehlungen" einen Bedarf von Fr. 1'000.-- angenommen, was tief erscheine. Seit dem Übertritt in das "B._" sei aber ohnehin eine neue Schätzung vorzunehmen. Unter Berücksichtigung, dass für die Kosten der Beschulung primär die Gemeinde aufzukommen habe, werde der Bedarf für Kleidung, Freizeit und Ferien mit Fr. 575.-- angenommen. Die Krankenkassenprämien beliefen sich auf Fr. 100.--. Für die Wochenenden und während der Ferien müsse der Tochter ein Zimmer zur Verfügung stehen, wofür ein Betrag von Fr. 300.-- einzusetzen sei. Daraus resultiere ein minimaler Bedarf von Fr. 975.-- bzw. nach Abzug der Kinderzulagen von Fr. 775.--. Angesichts der auswärtigen Beschulung und der etwas grösseren Leistungsfähigkeit habe sich auch der Vater daran zu beteiligen, obwohl er Pflege- und Erziehungsleistungen an den Wochenenden sowie während der Ferien erbringe und die an das Obhutsrecht anknüpfende Verantwortung trage. Bei der Kostenbeteiligung sei zu berücksichtigen, dass er für den Unterhalt der Tochter vom 15. Mai 2010 bis zum 31. Oktober 2010 allein aufgekommen sei. Sodann habe er auch Aufwendungen für das Bringen und Abholen der Tochter. Vor dem Hintergrund all dieser Elemente erscheine ein von der Mutter zu tragender Unterhaltsbeitrag von Fr. 700.-- als angemessen, eine weitergehende Beteiligung des Vaters würde den Grundsatz der Gleichheit von Geld- und Erziehungsleistungen missachten.
3.2 Die Mutter hält diese Vorgehensweise unter verschiedenen Aspekten für willkürlich. Indes ist in keiner Hinsicht Willkür ersichtlich:
Zunächst hat das Kantonsgericht mit sachlichen Argumenten (Erziehungslast und sich aus dem Obhutsrecht ergebende Verantwortung) begründet, weshalb es die anfallenden Kosten nicht im Verhältnis der Nettoeinkommen auf die Eltern verteilt hat, wie die Mutter sich dies wünscht.
Sodann geht das Vorbringen der Mutter, aufgrund des Gleichbehandlungsgrundsatzes müsse auch bei ihr ein Zimmer für die Tochter bereit stehen, an der Sache vorbei, da sie angesichts der strikten Verweigerungshaltung der Tochter vorläufig auf die Ausübung des Besuchsrechts verzichtet hat und nach den kantonsgerichtlichen Feststellungen ein Aufenthalt bei der Mutter ohnehin nicht zur Diskussion stehen kann. Ebenso wenig bedeutet es Willkür bzw. eine Verletzung des "Gleichheitsgrundsatzes", wenn nur beim Vater Kosten für das Bringen und Abholen der Tochter eingesetzt wurden, fallen doch einzig auf seiner Seite solche an.
Unzutreffend und damit weder willkürlich noch gehörsverletzend ist schliesslich die Behauptung, das Kantonsgericht habe übersehen, dass im "B._" für die Eltern nur ein Pauschalbeitrag von Fr. 283.-- pro Monat anfalle und die übrigen Kosten von der Gemeinde getragen würden. Das Kantonsgericht hat die Tatsache, dass die Gemeinde die Hauptlast trägt, gerade erwähnt; übersehen hat es wenn schon, dass auch für die Eltern ein Pauschalbeitrag verbleibt, welchen zwangsläufig der Vater tragen muss, weil der Unterhaltsbeitrag der Mutter auf insgesamt Fr. 700.-- limitiert worden ist.
4. In der Scheidungskonvention hatte sich der Vater zu nachehelichem Unterhalt von Fr. 430.-- bis Februar 2013 verpflichtet, wobei sich der Unterhaltsbeitrag jeweils um die Hälfte des einen Betrag von Fr. 2'800.-- übersteigenden Mehrverdienstes der Mutter reduzieren sollte. Angesichts des aktuellen Verdienstes von rund Fr. 4'400.-- nahm der erstinstanzliche Richter - ohne dass diesbezügliche Anträge gestellt worden wären - davon Vormerk, dass die Unterhaltsverpflichtung ab November 2010 dahingefallen sei.
4.1 In ihrer Berufung hatte die Mutter geltend gemacht, das Kreisgericht habe in seinem Entscheid mehr zugesprochen als verlangt worden sei. Das Kantonsgericht erwog diesbezüglich, der Ehegattenunterhalt habe offensichtlich Gegenstand des Verfahrens gebildet, habe doch der Vorderrichter in seiner dringlichen Verfügung vom 12. Mai 2010 festgehalten, der Ehegattenunterhalt bleibe vorerst unverändert, und habe er die Mutter im Schreiben vom 1. Oktober 2010 mit der Begründung, dass die Verhältnisse in Bezug auf den Ehegattenunterhalt nicht mehr nur vorübergehend zu regeln seien, zur Einreichung verschiedener Unterlagen aufgefordert. Das Kreisgericht habe die für die Dauer des Verfahrens nötigen vorsorglichen Massnahmen zu erlassen gehabt und die Herstellung eines gewissen Rechtsfriedens und die Schaffung klarer Verhältnisse sei angesichts der Zerstrittenheit der Parteien nötig gewesen. Sodann habe die Mutter gegen die vorinstanzliche Vormerknahme in der Sache keine Einwendungen erhoben, dies zu Recht nicht, betrage doch ihr Nettoverdienst inzwischen Fr. 4'400.--, so dass ihr Anspruch auf nachehelichen Unterhalt dahingefallen sei. Weil die Vormerknahme mit Bezug auf einen bestimmten Zeitpunkt erfolgt sei, habe sie rechtsgestaltende Wirkung und könne deshalb Gegenstand einer Massnahmeregelung sein.
4.2 Mit diesen Ausführungen und insbesondere auch mit dem Umstand, dass sich der Wegfall der Unterhaltsverpflichtung unmittelbar aus der zwischen den Parteien konventionsweise abgeschlossenen Regelung ergibt und damit nichts anderes als eine ohnehin eingetretene Tatsache festgehalten worden ist, setzt sich die Mutter nicht in einer dem Rügeprinzip genügenden Weise auseinander (dazu E. 1). Sie beschränkt sich auf die Behauptung, der Wegfall des nachehelichen Unterhaltes ohne entsprechenden Parteiantrag sei eine offensichtliche Verletzung klaren Rechtes und damit willkürlich, was auch nicht durch den Hinweis auf die Zerstrittenheit der Parteien aufgehoben werde. Mangels einer substanziierten Begründung kann auf die Willkürrüge nicht eingetreten werden.
5. Mit Bezug auf die zweitinstanzlichen Kosten hat das Kantonsgericht die Gerichtskosten vollumfänglich der Mutter auferlegt und die Parteikosten wettgeschlagen.
5.1 Die Mutter hält die Gerichtskostenauflage für willkürlich mit der Begründung, die Unterbringung der Tochter im "B._" stelle eine Drittplatzierung dar, weshalb sie mit ihrem Hauptbegehren auf Fremdplatzierung de facto obsiegt habe. Indem das Kantonsgericht dies in seinem Entscheid nicht habe einfliessen lassen, sei neben dem Willkürverbot auch ihr rechtliches Gehör verletzt.
5.2 In Zusammenhang mit der Kostenverlegung sind keine Verfassungsverletzungen erkennbar:
Das Obhutsrecht wurde auf den Vater übertragen bzw. bei diesem belassen und die Beschulung der Tochter im "B._" stellt deshalb keine Fremdplatzierung im rechtlichen Sinn dar; im Übrigen erfolgt sie im Einvernehmen beider Elternteile, weshalb sich diesbezüglich auch nicht von einem Obsiegen oder Unterliegen sprechen lässt. Sodann ist die Mutter mit Bezug auf den Kindesunterhalt, in welcher Hinsicht sie eine Verteilung der Kosten im Verhältnis der Nettoeinkommen beantragt hatte, weitestgehend unterlegen.
Vor diesem Hintergrund sind im Zusammenhang mit der Kostenverteilung in ihrer Gesamtheit (Gerichtskosten zu Lasten der Mutter und Wettschlagung der Parteikosten) keine Verfassungsverletzungen gegeben.
6. Zusammenfassend ergibt sich, dass die Beschwerde in Zivilsachen abzuweisen ist, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang sind die Gerichtskosten der Beschwerdeführerin aufzuerlegen. Der Gegenseite ist kein entschädigungspflichtiger Aufwand entstanden.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf eingetreten werden kann.
2. Die Gerichtskosten von Fr. 2'000.-- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Einzelrichter im Familienrecht, schriftlich mitgeteilt.
Lausanne, 22. November 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Möckli