Erwägungen:
1. A._ (31. Mai 2005) und B._ (5. November 2007) sind die Kinder von X._. Da A._ seit dem 7. März 2011 den Kindergarten nicht mehr besuchte und auch eine Einschulung dieses Kindes durch die Eltern nicht stattfand, bemühte sich C._, Leiterin der Abteilung Sozialabklärungen, um ein Gespräch mit den Eltern; anlässlich einer Besprechung vom 11. November 2011 wies Frau C._ die Eltern darauf hin, dass ein Obhutsentzug und eine Fremdplatzierung der Kinder ins Auge gefasst würden, falls eine Einschulung von A._ unterbleibe. Da die Eltern nicht reagierten, entzog ihnen die Vormundschaftsbehörde St. Gallen mit Beschluss vom 7. Dezember 2011 die Obhut über A._ und B._ und ordnete deren Platzierung an einem vorerst geheimen Ort an. Der Beschluss wurde vollstreckbar erklärt.
Mit Entscheid vom 15. Februar 2012 überwies das Departement des Innern des Kantons St. Gallen eine Beschwerde/Klage der Beschwerdeführer gegen C._, D._ und E._ an die Vormundschaftsbehörde St. Gallen resp. den Stadtrat St. Gallen zur weiteren Behandlung (1); ferner hiess es die Beschwerde teilweise gut und hob den Entscheid der Vormundschaftsbehörde vom 7. Dezember 2011 auf (2), wies die Streitsache (Entzug der Obhut und Fremdplatzierung) im Sinn der Erwägungen zu neuem Entscheid an die Vormundschaftsbehörde St. Gallen zurück (3) und auferlegte die Verfahrenskosten von Fr. 1'000.-- je zur Hälfte den Beschwerdeführern und der Vormundschaftsbehörde St. Gallen, wobei auf die Erhebung von Kosten bei der Vormundschaftsbehörde St. Gallen verzichtet wurde (6).
Die Eltern erhoben gegen die Dispositiv-Ziffern 1, 2, 3 und 6 dieses Entscheids beim Kantonsgericht St. Gallen Berufung (FO.2012.11-K2 ) und ersuchten sinngemäss um unentgeltliche Rechtspflege für das Berufungsverfahren. Mit Entscheid vom 31. Mai 2012 wies der Präsident der II. Zivilkammer des Kantonsgerichts als Verfahrensleiter das Gesuch der Beschwerdeführer um unentgeltliche Rechtspflege ab und forderte die Beschwerdeführer auf, für das Berufungsverfahren FO.2012.11-K2 innert 10 Tagen einen Kostenvorschuss von Fr. 2'500.-- zu leisten.
Die Eltern haben gegen den ihnen am 5. Juni 2012 zugestellten Entscheid am 5. Juli 2012 beim Bundesgericht Beschwerde in Zivilsachen erhoben. Sie ersuchen sinngemäss um Aufhebung des angefochtenen Entscheids und um Gewährung der unentgeltlichen Rechtspflege für das kantonale Berufungsverfahren sowie für das Verfahren vor Bundesgericht und begehrten überdies die aufschiebende Wirkung. Die Vorinstanz hat auf Vernehmlassung zum Gesuch um aufschiebende Wirkung verzichtet. In der Sache sind keine Vernehmlassungen eingeholt worden. Mit Verfügung vom 13. Juli 2012 wurde der Beschwerde aufschiebende Wirkung zuerkannt.
Die Beschwerdeführer haben ihre Beschwerde mit Eingabe vom 6. August 2012 ergänzt.
2. Die angefochtene Verfügung ist den Beschwerdeführern am 5. Juni 2012 zugestellt worden, womit die 30-tägige Beschwerdefrist am Donnerstag, 5 Juli 2012 abgelaufen ist (Art. 100 Abs. 1 und Art. 44 Abs. 1 BGG). Die am 6. August 2012 eingereichte Ergänzung der Beschwerde ist verspätet. Darauf ist nicht einzutreten.
3. In der Beschwerde ist in Auseinandersetzung mit den Erwägungen des angefochtenen Entscheids darzulegen, welche Rechte der beschwerdeführenden Partei durch das kantonale Gericht verletzt worden sind (Art. 42 Abs. 2 BGG; BGE 134 II 244 E. 2.1 S. 245), wobei eine allfällige Verletzung verfassungsmässiger Rechte vom Bundesgericht nicht von Amtes wegen geprüft wird, sondern nur dann, wenn solche Rügen in der Beschwerdeschrift ausdrücklich erhoben und begründet werden (Art. 106 Abs. 2 BGG; BGE 135 III 232 E. 1.2 S. 234). Wird eine Sachverhaltsfeststellung beanstandet, muss in der Beschwerdeschrift dargelegt werden, inwiefern diese Feststellung willkürlich oder durch eine andere Rechtsverletzung im Sinn von Art. 95 BGG (z.B. Art. 29 Abs. 2 BV oder Art. 8 ZGB) zustande gekommen ist (vgl. BGE 133 II 249 E. 1.2.2 und 1.4.3 S. 255) und inwiefern die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 in fine BGG; BGE 135 I 19 E. 2.2.2 S. 22). Auf rein appellatorische Kritik am Sachverhalt tritt das Bundesgericht nicht ein.
4. Der Präsident hat geprüft, ob im Fall der Beschwerdeführer die Voraussetzungen für die Gewährung der unentgeltlichen Rechtspflege für das Berufungsverfahren FO.2012.11-K2 erfüllt sind. Im Einzelnen hat er zusammengefasst erwogen, nach der bundesgerichtlichen Rechtsprechung seien Begehren als aussichtslos anzusehen, bei denen die Gewinnaussichten beträchtlich geringer seien als die Verlustgefahren und die deshalb nicht mehr als ernsthaft bezeichnet werden können. Dagegen gälten Begehren nicht als aussichtslos, wenn sich die Gewinnaussichten und die Verlustgefahren ungefähr die Waage halten oder jene nur wenig geringer seien als diese. Die Prozesschancen seien in einer vorläufigen und summarischen Prüfung des Prozessstoffs abzuschätzen. Im Rahmen dieser summarischen Prüfung wies der Präsident vorweg darauf hin, dass vorliegend einzig der Entscheid des Departementes des Innern vom 15. Februar 2012 Gegenstand der Berufung bilde. Soweit die Beschwerdeführer Anträge stellten und Fragen aufwärfen, welche das Verfahren betreffend Schulzuteilung zum Gegenstand hätten, so seien sie auf das entsprechende Verfahren beim Bildungsdepartement zu verweisen. Weder sei das Kantonsgericht in diesen Belangen Rekursinstanz noch existiere die Berufung im Sinn von Art. 308 ff. ZPO gegen entsprechende Entscheide. Die II. Zivilkammer des Kantonsgerichts habe nichts mit der Staatsanwaltschaft zu tun. Soweit die Beschwerdeführer Anträge im Zusammenhang mit dem gegen verschiedene Personen erhobenen Strafverfahren stellten, sei die Zuständigkeit der II. Zivilkammer des Kantonsgerichts nicht gegeben. Nicht entgegengenommen werden könnten schliesslich auch allgemeine Forderungen gegen Drittpersonen und Fragen im Zusammenhang mit der Befangenheit von Stadtrat und Vormundschaftsbehörde St. Gallen. Auch in diesen Belangen sei das Kantonsgericht als Berufungsinstanz in zivilrechtlichen Angelegenheiten nicht zuständig. Alle in diesem Zusammenhang stehenden Begehren seien daher aussichtslos.
Zu beachten sei ferner, dass Berufungsanträge wie die Berufungsbegründung und die Berufungserklärung innert der Berufungsfrist zu stellen bzw. einzureichen seien und nachträglich nicht mehr ergänzt werden könnten. Soweit die Beschwerdeführer im Nachgang zu Berufungsschrift noch Anträge stellten, könne darauf von vornherein nicht eingetreten werden.
Betrachte man im Weiteren die gesamten Akten, so erscheine der in der Berufung erhobene Vorwurf der Verletzung des rechtlichen Gehörs durch die Vorinstanzen angesichts der zahlreichen Eingaben der Beschwerdeführer und der vorerst erfolglosen Bemühungen der Behörden für ein Gespräch mit ihnen als offensichtlich unberechtigt.
Im Zusammenhang mit dem sinngemässen Begehren um Aufhebung der Ziffern 2 und 3 des Entscheides vom 12. Februar 2012 wies der Präsident daraufhin, aufgrund des Entscheides des Departementes habe die Vormundschaftsbehörde weitere Abklärungen zu treffen und danach neu zu entscheiden. Die Beschwerdeführer könnten sich in diesem Verfahren einbringen. Im Weiteren werfe sich jede Seite gegenseitig fehlerhaftes Verhalten vor. Dokumente, die den Beschwerdeführern nicht zusagten, würden von ihnen kurzerhand als Fälschungen/ Falsifikate bezeichnet, wobei sie die Begriffe nicht ihrem wahren Sinn entsprechend verstünden. Völlig unverständlich sei, dass sie das Angebot, die Kinder zu sehen, nicht angenommen hätten. Die Versuche der Behörden, Vertrauenspersonen der Eltern in das Gespräch mit einzubeziehen, hätten zu keiner Änderung ihrer generell ablehnenden Haltung geführt. Die Beschwerdeführer stellten viele Behauptungen in der Raum, ohne auch nur ansatzweise Beweise dafür anzubieten. Das Departement habe die Angelegenheit auf sachgerechte Weise "erwogen" und beurteilt. Dass die Beschwerdeführer keine realistischen Vorstellungen hätten, ergebe sich aus ihrer letzten Eingabe, gemäss welcher neu die Idee der "Schule zu Hause" aufgeworfen werde. In der konkreten allgemeinen und finanziellen Situation seien diese Lösung sowie der Besuch einer Privatschule offensichtlich völlig unrealistisch.
Zusammenfassend sei daher in keiner Weise zu beanstanden, dass die Vorinstanz den Beschluss der Vormundschaftsbehörde St. Gallen vom 7. Dezember 2012 aufgehoben und die Sache im Sinn der Erwägungen an diese Behörde zurückgewiesen habe.
5. Die Beschwerdeführer setzen sich mit diesen Erwägungen praktisch überhaupt nicht auseinander. Sie begnügen sich im Wesentlichen damit, den Sachverhalt in Abweichung des angefochtenen Entscheids aus eigener Sicht darzustellen und die Sachverhaltsfeststellungen der Vorinstanz zu bestreiten. Überdies ergehen sie sich in einem Spiel um Worte, indem sie einfach behaupten, ihnen sei nur gesagt worden, sie könnten die Kinder vielleicht sehen, wenn sie sich zu Gesprächen bereit erklärten. Soweit sie behaupten, es sei kein einziges von ihnen vorgebrachtes Beweisstück berücksichtigt worden, wird nicht gesagt, um welche Beweisstücke es sich handelt und was damit hätte bewiesen werden sollen, geschweige denn, inwiefern diese Beweistücke für das Verfahren von Bedeutung gewesen wären. Auf eine derart allgemein gehaltene Kritik kann nicht eingetreten werden.
6. Auf die offensichtlich ungenügend begründete und damit unzulässige Beschwerde ist somit in Anwendung von Art. 108 Abs. 1 lit. b BGG durch den Einzelrichter nicht einzutreten. Angesichts der gewährten aufschiebenden Wirkung obliegt nun der Vorinstanz, eine neue Frist zur Leistung des Kostenvorschusses anzusetzen.
7. Den Umständen des konkreten Falles entsprechend werden keine Kosten erhoben (Art. 66 Abs. 1 BGG).
8. Da keine Gerichtskosten erhoben werden, die Beschwerdeführer keinen Anwalt mit der Wahrung ihrer Interessen betraut haben und ihnen somit insoweit keine ausgewiesenen Kosten entstanden sind, wird das Gesuch um unentgeltliche Rechtspflege gegenstandslos.
Demnach erkennt der Einzelrichter:
1. Auf die Beschwerde wird nicht eingetreten.
2. Es werden keine Kosten erhoben.
3. Dieses Urteil wird den Parteien schriftlich mitgeteilt.
Lausanne, 8. August 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Einzelrichter: von Werdt
Der Gerichtsschreiber: Zbinden