Sachverhalt:
A._ und B._ sind die Eltern der 2015 geborenen C._. Im Nachgang zum Eheschutzentscheid des Kreisgerichtes Toggenburg vom 29. März 2018 entstanden im Zusammenhang mit dem Vorwurf sexueller Übergriffe schwerwiegende Differenzen zwischen den Eltern, was ein Kindesschutzverfahren vor der KESB Toggenburg erforderte.
In dessen Rahmen entzog der Präsident D._ (stellvertretend für das verfahrensleitende, aber ferienabwesende Behördenmitglied E._) den Eltern mit superprovisorischer Verfügung vom 28. April 2019 das Aufenthaltsbestimmungsrecht und brachte das Kind bei den Grosseltern väterlicherseits unter; zudem lud er die Eltern auf den 6. Mai 2019 zur Anhörung bezüglich vorsorglicher Massnahmen.
Unmittelbar vor der Anhörung am 6. Mai 2019 stellte die Mutter ein Ausstandsgesuch gegen D._, welches die KESB Toggenburg noch gleichentags abwies.
Dagegen erhob die Mutter bei der Verwaltungsrekurskommission des Kantons St. Gallen Beschwerde und verlangte für das Beschwerdeverfahren unentgeltliche Rechtspflege. Mit Entscheid vom 4. Juli 2019 wies die Verwaltungsrekurskommission dieses Gesuch wegen Aussichtslosigkeit der Beschwerde ab.
Die gegen diesen Entscheid erhobene Beschwerde wies das Kantonsgericht St. Gallen mit Entscheid vom 27. September 2019 ab. Gleichzeitig wies es auch das vor Kantonsgericht gestellte Gesuch um unentgeltliche Rechtspflege wegen Aussichtslosigkeit des betreffenden Verfahrens ab.
Gegen den Entscheid des Kantonsgerichts hat die Mutter am 31. Oktober 2019 beim Bundesgericht eine Beschwerde eingereicht mit den Begehren um dessen Aufhebung und Gewährung der unentgeltlichen Rechtspflege vor beiden Instanzen. Ferner wird auch für das bundesgerichtliche Verfahren die unentgeltliche Rechtspflege verlangt.

Erwägungen:
1.
Der Verfahrensantrag auf Durchführung eines zweiten Schriftenwechsels ist gegenstandslos, weil angesichts der offensichtlichen Unbegründetheit der Beschwerde auf die Einholung von Vernehmlassungen verzichtet werden kann und die Sache sogleich spruchreif ist.
2.
Gegen andere Behördenmitglieder als den Präsidenten wurde nie der Ausstand verlangt. Von vornherein nicht einzutreten ist deshalb auf das Vorbringen, die weiteren Behördenmitglieder der KESB seien vom Präsidenten abhängig (womit offenbar deren Unparteilichkeit im Zusammenhang mit dem Ausgangsentscheid in Zweifel gezogen werden soll).
Im Übrigen besteht die Beschwerde zu einem grossen Teil aus (weitestgehend abstrakt bleibenden) Ausführungen zur angeblichen Befangenheit des KESB-Präsidenten. Während sich die Verwaltungsrekurskommission hierzu (im verneinenden Sinn) noch geäussert hatte, fokussierte das Kantonsgericht auf die Frage der Rechtzeitigkeit des Ausstandsbegehrens. Weil einzig der kantonal letztinstanzliche Entscheid vor Bundesgericht das Anfechtungsobjekt bilden (<ref-law>) und der Beschwerdegegenstand im weiteren Rechtsmittelverlauf nicht (wieder) ausgedehnt werden kann (<ref-ruling> E. 4.2 S. 462 f.; <ref-ruling> E. 3.4.2 S. 365; <ref-ruling> E. 4.4.2 S. 156), ist auf die betreffenden Ausführungen ebenfalls von vornherein nicht einzutreten.
3.
Das Kantonsgericht hat erwogen, dass gemäss <ref-law> für das Ausstandsverfahren kantonales Recht zur Anwendung gelange, und zwar vorliegend das Verwaltungsrechtspflegegesetz (VRP, sGS 951.1), weil das Einführungsgesetz zum Kindes- und Erwachsenenschutzrecht (EG KES, sGS 912.5) keine Vorschriften über den Ausstand enthalte.
Das Kantonsgericht hielt fest, dass die Verwaltungsrekurskommission die Befangenheit als solche verneint, aber auch erwogen habe, dass das Ausstandsgesuch zu spät erfolgt sei. Zur Rechtzeitigkeit des Ausstandsgesuches äussere sich die Beschwerdeführerin gar nicht, weshalb die Beschwerde unsubstanziiert bleibe. Das Kantonsgericht äusserte sich aber in der Folge zur Rechtzeitigkeit und verneinte diese gestützt auf <ref-law> i.Vm. Art. 10 EG KESR i.V.m. Art. 7 VRP, wobei es im Sinn einer analogen Anwendung ergänzend auch auf <ref-law> verwies: Am 28. Mai 2018 habe der Präsident der KESB mitgeteilt, dass er im hängigen KESB-Verfahren die Verfahrensleitung übernehme und für das Dossier zuständig sei. In der Folge habe er das Verfahren bis anfangs Januar 2019 geführt und während dieser Zeit mehrere Verfügungen (u.a. bezüglich Neuregelung der faktischen Obhut, Regelung des persönlichen Verkehrs und Weisungen an die Eltern) erlassen und sei mit den beteiligten Personen in direktem Kontakt gestanden, indem er u.a. einen Hausbesuch abgestattet und C._ persönlich angehört habe. Ab dem 7. Januar 2019 habe ein anderes Behördenmitglied die Verfahrensleitung übernommen, in dessen Stellvertretung am 28. April 2019 wiederum der Präsident entschieden und zur Verhandlung auf den 6. Mai 2019 vorgeladen habe, was das vorliegend interessierende Ausstandsbegehren ausgelöst habe. Sämtliche Umstände, aus welchen die Beschwerdeführerin eine Befangenheit ableite (gleicher Wohnort; Duzis-Beziehung; persönliche Bekanntschaft), seien bereits während der Verfahrensleitung im Jahr 2018 vorhanden gewesen. Indes habe die Beschwerdeführerin die ganze Zeit anstandslos am Verfahren teilgenommen, ohne je Befangenheitsgründe geltend zu machen. Sie sei mit der Verfahrensleitung durch den Präsidenten offensichtlich einverstanden gewesen, solange diese mehr oder weniger in ihrem Sinn erfolgt sei, und habe erst den Ausstand verlangt, als ihr das Aufenthaltsbestimmungsrecht entzogen worden sei. Zu diesem Zeitpunkt sei das Recht, die längst bekannten angeblichen Befangenheitsgründe anzurufen, aber offensichtlich verwirkt gewesen.
4.
Die Sachverhaltsfeststellungen, wonach der Präsident der KESB das Verfahren vorher während sieben Monaten führte und dabei mehrere Verfügungen traf sowie dass die geltend gemachten Ausstandsgründe damals der Beschwerdeführerin alle bekannt waren und sie vorbehaltlos am Verfahren teilnahm, sind für das Bundesgericht verbindlich (<ref-law>). In diesem Bereich kann lediglich eine offensichtlich unrichtige - d.h. willkürliche, in Verletzung von <ref-law> ergangene (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.3.1 S. 253; <ref-ruling> E. 6.3 S. 375; <ref-ruling> E. 2.2 S. 313) - Sachverhaltsfeststellung gerügt werden, wobei hierfür das strenge Rügeprinzip gilt (Art. 97 Abs. 1 i.V.m. <ref-law>; <ref-ruling> E. 2.3 S. 266; <ref-ruling> E. 6.3 S. 375).
Die Beschwerdeführerin stellt die Sachverhaltsfeststellungen weitgehend nicht in Frage. Sie macht einzig geltend, die Ausstandsgründe hätten erst im Verlauf der Zeit mit mühsamen Internet-Recherchen eruiert werden können. Dieses im Widerspruch zu den kantonalen Sachverhaltsfeststellungen stehende Vorbringen bleibt indes rein appellatorisch und überdies handelt es sich um eine neue und damit unzulässige Behauptung (<ref-law>), denn es wird nicht aufgezeigt, inwiefern und an welcher Stelle dies bereits im kantonalen Verfahren vorgebracht worden wäre.
5.
Das Kantonsgericht hat sich bei der Frage der Rechtzeitigkeit des Ausstandsgesuches auf kantonales Recht gestützt. Dessen Verletzung überprüft das Bundesgericht nur im Zusammenhang mit einer Verletzung verfassungsmässiger Rechte, wobei die Rüge im Vordergrund steht, dass das kantonale Recht willkürlich angewandt worden sei (<ref-ruling> E. 2.3 S. 231; <ref-ruling> E. 1.4 S. 254; <ref-ruling> E. 2.1 S. 372). Dies gilt nicht nur für die Bestimmungen von Art. 7 ff. VRG, sondern auch für die analog herangezogenen Bestimmungen der ZPO, welcher im Bereich des Kindes- und Erwachsenenschutzes als subsidiäres kantonales Recht gilt und deren Anwendung deshalb ebenfalls nur auf Willkür hin überprüft werden kann (<ref-ruling> E. 2.3 S. 231; Urteile 5A_530/2014 vom 19. März 2015 E. 3; 5A_724/2015 vom 2. Juni 2016 E. 2.2; 5A_367/2016 vom 6. Februar 2017 E. 2.2).
Soweit die Beschwerdeführerin geltend macht, für die KESB gälten strengere Ausstandsgründe als für Gerichte, was "der herrschenden Lehre entspreche", erfolgen keinerlei Willkürrügen in Bezug auf das kantonale Recht; vielmehr erfolgen die Ausführungen im Zusammenhang mit der Anwendung des VRG und der ZPO rein appellatorisch, weshalb auf die Beschwerde insofern nicht eingetreten werden kann. Abgesehen davon vermag die Beschwerdeführerin auch keine Belege für die angeblich herrschende Lehre anzuführen, sondern sie lässt es diesbezüglich bei einer abstrakten Behauptung bewenden.
Nur der Vollständigkeit sei halber festgehalten, dass sich Entsprechendes auch nicht aus der bundesgerichtlichen Rechtsprechung zu <ref-law> ableiten liesse, welcher für den Fall ungenügender kantonaler Garantien bundesrechtliche Minimalgarantien gewährt (vgl. <ref-ruling> E. 2 S. 122 f.).
6.
Bei den weiteren rechtlichen Vorbringen erfolgen zwar ebenfalls keine Willkürrügen im Zusammenhang mit dem kantonalen Recht, aber wenigstens werden andere Verfassungsverletzungen geltend gemacht.
Die Behauptung, die Rechtsuchende müsse angesichts des Eingriffes in Grundrechte und des äusserst fragwürdigen und gegen das Kindeswohl stehenden Entscheides vom 28. April 2019 jederzeit den Ausstand verlangen können, widerspricht jedoch den sich aus <ref-law> - gerügt wird fälschlich eine Verletzung von <ref-law> - und Art. 6 Ziff. 1 EMRK ergebenden Grundsätzen diametral: Die dazu aufgestellte Rechtsprechung geht gerade dahin, dass Ausstandsgründe ohne Verzug geltend zu machen sind; wer von einem Ablehnungsgrund tatsächlich Kenntnis hat oder bei pflichtgemässer Aufmerksamkeit Kenntnis haben müsste und sich dennoch auf das Verfahren einlässt, verwirkt den Anspruch auf spätere Geltendmachung, insbesondere wenn in der Sache ein ungünstiger Entscheid ergeht (vgl. <ref-ruling> E. 4.3 S. 496; <ref-ruling> E. 4.3.1 S. 21 f.; <ref-ruling> E. 4.3 S. 69).
Insofern ist auch die - ebenfalls durch keine Hinweise belegte - Behauptung falsch, für die "Befristung" der Geltendmachung bedürfe es einer ausdrücklichen gesetzlichen Grundlage, in welcher die Ablehnungsfristen genau zu regeln wären.
Der Grundsatz, wonach Ausstandsgründe unverzüglich vorzubringen sind, lässt sich ferner nicht ins Gegenteil verkehren mit dem Vorbringen, Entscheidträger müssten ihre eigene Befangenheit jederzeit von Amtes wegen prüfen. Im Übrigen fühlte sich der Präsident der KESB nicht befangen, weshalb es für ihn nichts zu prüfen gab, und während der langen Monate der Verfahrensführung teilte offensichtlich auch die Beschwerdeführerin diese Meinung.
Nicht einschlägig sind vor dem Hintergrund der festgehaltenen Grundsätze ferner die Ausführungen im Zusammenhang mit dem Vorbringen, der Ausstand sei in einem erstinstanzlichen und nicht in einem Rechtsmittelverfahren verlangt worden.
7.
Nach dem Gesagten war das Ausstandsgesuch augenfällig verspätet und deshalb bereits das Verfahren vor Kantonsgericht offensichtlich aussichtslos, weshalb dieses das Gesuch um unentgeltliche Rechtspflege - ohne Verletzung verfassungsmässiger Bestimmungen, wobei es auch hier wiederum an Willkürrügen in Bezug auf die kantonalrechtlichen Grundlagen und/oder anderweitigen konkreten Verfassungsrügen fehlt - abweisen durfte. Gleiches gilt für das Verfahren vor der Verwaltungsrekurskommission, welche nebst der Rechtzeitigkeit des Ausstandsgesuches auch das Vorliegen von Ausstandsgründen verneint hatte.
8.
Wie die vorstehenden Erwägungen zeigen, konnte der Beschwerde an das Bundesgericht ebenfalls von Anfang an kein Erfolg beschieden sein, weshalb es an den materiellen Voraussetzungen der unentgeltlichen Rechtspflege fehlt (<ref-law>) und das entsprechende Gesuch abzuweisen ist.
9.
Zumal die Vorbringen der anwaltlich vertretenen Beschwerdeführerin entweder an der Sache vorbeizielen oder untauglich sind, ist die Beschwerde offensichtlich unbegründet und deshalb im vereinfachten Verfahren nach <ref-law> abzuweisen, soweit überhaupt auf sie eingetreten werden kann.
10.
Die Gerichtskosten sind der Beschwerdeführerin aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit auf sie einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 2'000.-- werden der Beschwerdeführerin auferlegt.
4.
Dieses Urteil wird den Parteien und der KESB Toggenburg schriftlich mitgeteilt.
Lausanne, 25. November 2019
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Möckli