Erwägungen:
1.
Bei der Verwaltungsrekurskommission (VRK) des Kantons St. Gallen ist eine Beschwerde der Beschwerdeführer gegen einen Entscheid der Kindes- und Erwachsenenschutzbehörde (KESB) Region St. Gallen vom 20. Oktober 2016 betreffend Entzug des Aufenthaltsbestimmungsrechts/Platzierung der Kinder der Beschwerdeführer, E._ und F._, hängig. In jenem Beschwerdeverfahren wurde von Abteilungspräsident C._ und Gerichtsschreiberin D._ am 7. Februar 2017 eine Kinderanhörung vorgenommen. Am 1. März 2017 lehnten die Beschwerdeführer C._ und D._ als befangen ab. Mit Verfügungen vom 6. März 2017 wies der Stellvertreter des Abteilungspräsidenten die Ausstandsbegehren ab.
Gegen beide Verfügungen erhoben die Beschwerdeführer am 20. März 2017 Beschwerde an das Kantonsgericht St. Gallen. Mit Entscheiden vom 12. April 2017 wies das Kantonsgericht die Beschwerden ab, soweit es auf sie eintrat (Verfahren KES.2017.8-EZE2 betreffend C._ und Verfahren KES.2017.9-EZE2 betreffend D._).
Am 15. Mai 2017 (Postaufgabe) haben die Beschwerdeführer Beschwerde an das Bundesgericht gegen beide Ausstandsentscheide des Kantonsgerichts erhoben.
2.
Wie vor den Vorinstanzen sind zwei getrennte Beschwerdeverfahren zu führen (Art. 71 BGG i.V.m. Art. 24 Abs. 3 BZP [SR 273]; vorliegendes Verfahren 5A_381/2017 betreffend Ausstand von D._ und Verfahren 5A_380/2017 betreffend Ausstand von C._).
Angefochten ist ein kantonal letztinstanzlicher Zwischenentscheid im Bereich des Kindesschutzes (Art. 72 Abs. 2 lit. b Ziff. 6 und Art. 75 Abs. 1, Art. 92 BGG), womit die Beschwerde in Zivilsachen grundsätzlich gegeben ist.
Gemäss Art. 42 Abs. 1 BGG hat die Beschwerde Anträge zu enthalten und nach Art. 42 Abs. 2 BGG ist in der Beschwerdebegründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Die Begründung muss sachbezogen sein und sich auf den Streitgegenstand beziehen und beschränken; die beschwerdeführende Partei hat in gezielter Auseinandersetzung mit den für das Ergebnis des angefochtenen Entscheides massgeblichen Erwägungen plausibel aufzuzeigen, welche Rechte bzw. Rechtsnormen die Vorinstanz verletzt haben soll (BGE 140 III 86 E. 2 S. 88 f.; 140 III 115 E. 2 S. 116).
3.
Das Kantonsgericht hat erwogen, dass im Ausstandsverfahren vor der Verwaltungsrekurskommission entgegen der Ansicht der Beschwerdeführer kein Anspruch auf eine mündliche Verhandlung bestehe (unter Verweis auf das kantonale Verfahrensrecht). Die Anordnung einer mündlichen Verhandlung stehe im Ermessen des Verfahrensleiters. Inwiefern dieses überschritten worden sei, hätten die Beschwerdeführer nicht dargelegt. Ihre Tatsachenbehauptungen und Beweise hätten sie auch schriftlich vorbringen können. Soweit sie auch vor Kantonsgericht eine mündliche Verhandlung verlangten, sei darauf hinzuweisen, dass das Beschwerdeverfahren grundsätzlich schriftlich sei und keine Parteiverhandlung stattfinde. Besondere Umstände, die ausnahmsweise eine Verhandlung als angebracht erscheinen liessen, seien nicht ersichtlich.
Die Hauptvorwürfe der Beschwerdeführer beträfen die Anhörung der beiden Kinder vom 7. Februar 2017. Die Beschwerdeführer hätten geltend gemacht, "in den Markierungen der Ungesetzlichen Anhörung der Delegation der VRK" sei offensichtlich, dass hier eine Beeinflussung und Verdrehung der Aussagen der Kinder stattgefunden habe. Die Beschwerdeführer hätten aber mit keinem Wort erklärt, inwiefern aus diesen farbig markierten Textteilen eine fehlerhafte Anhörung hervorgehen solle. Auf einen entsprechenden Einwand hin führte das Kantonsgericht ausserdem aus, es gebe keine Hinweise, dass neben dem den Beschwerdeführern zugestellten Protokoll der Kinderanhörung noch ein weiteres, ausführlicheres Protokoll bestehe. Es sei üblich, von Anhörungen keine wörtlichen, sondern zusammenfassende Protokolle zu erstellen. Eine Anhörung sei keine formelle Zeugenbefragung. Die Beschwerdeführer hätten auch nicht dargelegt, inwiefern das Protokoll den wesentlichen Inhalt nicht wiedergebe.
Gegen D._ bestehe folglich kein Anschein der Befangenheit. Das gleiche gelte entgegen entsprechender Vorwürfe der Beschwerdeführer auch in Bezug auf den Stellvertreter des Abteilungspräsidenten, G._, der die Verfügungen vom 6. März 2017 erlassen habe.
4.
Soweit überhaupt verständlich erheben die Beschwerdeführer Vorwürfe gegen diverse Personen und Institutionen (z.B. dahingehend, dass Beweise ignoriert, gefälscht oder unterschlagen worden sein sollen). Sie verlangen eine Gegenüberstellung mit der KESB, der VRK, der Stadtpolizei St. Gallen, dem Kantonsgericht und weiteren Behörden. Der angefochtene Entscheid diene nur dazu, Fehlentscheide und die Befangenheit diverser Behörden verheimlichen. All dies hat entweder von vornherein keinen Zusammenhang mit dem angefochtenen Entscheid oder es fehlt zumindest eine genügende Auseinandersetzung mit den ausführlichen kantonsgerichtlichen Erwägungen. Keine genügende Auseinandersetzung stellt insbesondere dar, wenn die Beschwerdeführer in der Tatsache alleine, dass die Kinderanhörung nur zusammenfassend protokolliert wurde, eine Fälschung erblicken. Die Beschwerdeführer verweisen schliesslich auf Dokumente, die offenbar neu sind, was jedoch vor Bundesgericht grundsätzlich unzulässig ist (Art. 99 Abs. 1 BGG). Es ist nicht ersichtlich, weshalb sie nicht früher hätten Akteneinsicht nehmen und die entsprechenden Dokumente als Beweismittel anrufen können.
Die Beschwerde erweist sich damit als offensichtlich unzulässig bzw. sie enthält offensichtlich keine hinreichende Begründung. Darauf ist im vereinfachten Verfahren gemäss Art. 108 Abs. 1 lit. a und b BGG durch den Abteilungspräsidenten nicht einzutreten.
5.
Bei diesem Ausgang des Verfahrens tragen die Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 BGG).
Demnach erkennt der Präsident:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 300.-- werden den Beschwerdeführern auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, Einzelrichter im Familienrecht, schriftlich mitgeteilt.
Lausanne, 17. Mai 2017
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Der Gerichtsschreiber: Zingg