Erwägungen:
1.
A.A._ und B.A._ erstatteten am 15. Januar 2016 Strafanzeige gegen Olav Humbel, Präsident des Kreisgerichts Rorschach, wegen Amtsmissbrauchs. Die Staatsanwaltschaft des Kantons St. Gallen überwies die Sache an die Anklagekammer des Kantons St. Gallen zwecks Durchführung eines Ermächtigungsverfahrens im Sinne von <ref-law> i.V.m. Art. 17 Abs. 2 lit. b des Einführungsgesetzes zur Schweizerischen Straf- und Jugendstrafprozessordnung vom 3. August 2010 (EG-StPO; sGS 962.1).
2.
Mit Entscheid vom 2. März 2016 erteilte die Anklagekammer der Staatsanwaltschaft die Ermächtigung zur Eröffnung eines Strafverfahrens gegen Olav Humbel nicht. Auf die Ausstandsgesuche, welche von A.A._ und B.A._ gestellt worden waren, trat die Anklagekammer nicht ein, soweit sie diese nicht als gegenstandslos abschrieb. Die Anklagekammer wies ein von A.A._ und B.A._ gestelltes Gesuch um unentgeltliche Rechtspflege wegen Aussichtslosigkeit der gestellten Anträge ab und auferlegte ihnen Kosten in der Höhe von Fr. 1'500.-- unter solidarischer Haftbarkeit.
3.
Gegen den Entscheid der Anklagekammer vom 2. März 2016 haben A.A._ und B.A._ am 29. April 2016 Beschwerde ans Bundesgericht erhoben. Sie beantragen sinngemäss die Aufhebung des angefochtenen Entscheids. Der Staatsanwaltschaft sei die Ermächtigung zur Eröffnung eines Strafverfahrens gegen Olav Humbel sowie gegen Ivo Kuster, Präsident der Anklagekammer, zu erteilen. Auf die im vorinstanzlichen Verfahren gestellten Ausstandsgesuche sei einzutreten und ihnen sei die unentgeltliche Rechtspflege zu gewähren.
4.
Auf den Antrag der Beschwerdeführer, der Staatsanwaltschaft sei die Ermächtigung zur Eröffnung eines Strafverfahrens gegen Ivo Kuster zu erteilen, ist nicht einzutreten, weil er ausserhalb des durch den angefochtenen Entscheid begrenzten Streitgegenstands liegt und neue Begehren vor Bundesgericht unzulässig sind (vgl. <ref-law>).
Nach <ref-law> ist in der Begründung einer Beschwerde in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt. Die Bestimmungen von <ref-law> nennen die vor Bundesgericht zulässigen Beschwerdegründe. Hinsichtlich der Verletzung von Grundrechten gilt der in <ref-law> verankerte Grundsatz der Rechtsanwendung von Amtes wegen nicht; insofern besteht eine qualifizierte Rügepflicht (<ref-law>; <ref-ruling> E. 1.4.1 S. 53, 65 E. 1.3.1 S. 68 mit Hinweisen). Es obliegt dem Beschwerdeführer namentlich darzulegen, inwiefern der angefochtene Entscheid gegen die gerügten Grundrechte verstossen soll.
Die Beschwerdeführer legen nicht in genügender Weise dar, inwiefern die Vorinstanz im Ergebnis im Sinne von <ref-law> Recht verletzt haben soll, indem sie auf die im vorinstanzlichen Verfahren gestellten Ausstandsgesuche nicht eingetreten ist, soweit sie diese nicht als gegenstandslos abgeschrieben hat. Die Beschwerdeführer begründen auch nicht in genügender Weise, inwiefern die Vorinstanz mit der Nichterteilung der Ermächtigung zur Eröffnung eines Strafverfahrens gegen Olav Humbel im Ergebnis im Sinne von <ref-law> Recht verletzt haben soll. Soweit die Beschwerdeführer vor Bundesgericht schliesslich rügen wollten, ihnen hätte im vorinstanzlichen Verfahren die unentgeltliche Rechtspflege nicht verweigert werden dürfen bzw. keine Kosten auferlegt werden dürfen, legen sie ebenfalls nicht in genügender Weise dar, inwiefern die Vorinstanz im Ergebnis im Sinne von <ref-law> Recht verletzt haben soll.
5.
Aus diesen Gründen ist auf die Beschwerde nicht einzutreten. Da die genannten Mängel offensichtlich sind, ist über die Beschwerde im vereinfachten Verfahren nach <ref-law> zu entscheiden. Das von den Beschwerdeführern gestellte Gesuch um unentgeltliche Rechtspflege ist infolge offensichtlicher Aussichtslosigkeit der Beschwerde abzuweisen (vgl. <ref-law>). Indessen kann auf eine Kostenauflage verzichtet werden (vgl. <ref-law>).

Demnach erkennt das präsidierende Mitglied:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Es werden keine Kosten erhoben.
4.
Dieses Urteil wird den Parteien, der Staatsanwaltschaft des Kantons St. Gallen, Untersuchungsamt St. Gallen, und der Anklagekammer des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 10. Mai 2016
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Merkli
Der Gerichtsschreiber: Mattle