Erwägungen:
1.
Am 15. Dezember 2016 verlangte A._ für sich und im Namen seiner Frau, B._, beim Kreisgericht Rorschach von der Bank C._ AG (Gesuchsgegnerin) die Herausgabe eines der Bank als Sicherheit für einen Kredit übergebenen Namensschuldbriefs auf der Liegenschaft Grundstück Nr. xxx in U._ sowie die Herausgabe von bei der Bank hinterlegten Lebensversicherungspolicen der D._ AG, alles samt Zins. Am 2. Februar 2017 trat der Einzelrichter des Kreisgerichts (E._) auf das Gesuch nicht ein, auferlegte die Gerichtskosten von Fr. 800.-- den Gesuchstellern und sprach der Gesuchsgegnerin eine Parteientschädigung zu. Dieser Entscheid enthielt "Kurzerwägungen" und im Dispositiv war festgehalten, dass sich die Gerichtskosten für einen ausführlich begründeten Entscheid auf Fr. 1'200.-- erhöhten. Anstelle einer Rechtsmittelbelehrung fand sich der Hinweis, dass innert zehn Tagen eine ausführliche schriftliche Begründung verlangt werden könne.
Am 4. Februar 2017 verlangten die Gesuchsteller vom Einzelrichter einen " nicht ausführlichen, einfachen klaren Entscheid", der "nur österreichisches Recht" berücksichtige. Nach Rückfrage des Einzelrichters teilten die Gesuchsteller ihm mit, sie verzichteten auf eine ausführliche Begründung und zögen den Entscheid an das Kantonsgericht weiter.
Mit Eingabe vom 9. Februar 2017 erhoben die Gesuchsteller Beschwerde gegen den Entscheid vom 2. Februar 2017 an das Kantonsgericht St. Gallen. Sie erklärten, auf eine ausführliche schriftliche Begründung des Entscheids vom 2. Februar 2017 zu verzichten, da sie Richter E._ für befangen hielten. Sie verlangten die Herausgabe des Grundpfandtitels und der Policen, die Aufhebung von Betreibungen, die Löschung von Einträgen in Grundbüchern betreffend Pfändungen und die Bezahlung von Fr. 5 Mio. bzw. Fr. 7 Mio. Nachdem das Kantonsgericht die Gesuchsteller darauf hingewiesen hatte, die Eingabe könnte allenfalls als Begehren um Nachlieferung einer vollständigen schriftlichen Begründung interpretiert und an das Kreisgericht weitergeleitet werden, führten die Gesuchsteller aus, eine ausführliche Begründung brächte keine Klarheit, und ihre Beschwerde sei rechtmässig. Mit Entscheid vom 18. April 2017 trat die Einzelrichterin am Kantonsgericht (F._) auf die Beschwerde nicht ein. Beim Entscheid vom 2. Februar 2017 in der vorliegenden Fassung handle es sich nicht um einen begründeten und damit anfechtbaren Entscheid im Sinne von Art. 321 ZPO. Die Eingabe sei entsprechend den klaren Äusserungen der Gesuchsteller nicht als Begehren um Nachlieferung einer schriftlichen Begründung zu verstehen, sondern als Rechtsmittel. Mit dem Verzicht auf eine vollständige schriftliche Begründung hätten sie zugleich auf die Anfechtung des Entscheids verzichtet, worauf sowohl das Kreis- wie auch das Kantonsgericht hingewiesen hätten. Auch wenn ein Richter als befangen bezeichnet werde, nachdem das Dispositiv bekannt sei, könne eine Partei nicht auswählen, ob sie noch eine Begründung erhalten wolle oder ob sie direkt an die Rechtsmittelinstanz gelange.
Gegen diesen Entscheid hat A._ (zur Stellung seiner Frau siehe unten E. 2) am 20. April 2017 Beschwerde an das Bundesgericht erhoben. Er verlangt, die Klage auf Herausgabe durch einen unbefangenen Richter des Kreisgerichts Rorschach beurteilen zu lassen. Sodann verlangt er, ein Strafverfahren gegen F._ zueröffnen. Strafverfahren gegen E._ und gegen den Rechtsvertreter der Gesuchsgegnerin (Beschwerdegegnerin) seien an die Hand zu nehmen. Die Vollstreckbarkeit des Entscheids vom 18. April 2017 sei auszusetzen und der Konkurs über ihn und seine Frau sei zu verhindern.
2.
Aus der Beschwerde geht nicht restlos klar hervor, ob A._ auch vor Bundesgericht im Namen seiner Frau handeln will. Jedenfalls ist darauf hinzuweisen, dass es in Zivilsachen vor Bundesgericht nicht gestattet ist, Familienangehörige zu vertreten. Vielmehr hat eine Partei ihre Eingaben selber zu unterzeichnen oder sich durch einen dazu bevollmächtigten und zur Vertretung berechtigten Anwalt vertreten zu lassen (Art. 40 BGG). Aufgrund des Verfahrensausgangs erübrigen sich Weiterungen zur Frage der Parteistellung von B._ und es ist davon abzusehen, eine Frist zur Behebung des allfälligen Mangels bei der Unterschrift anzusetzen (Art. 42 Abs. 5 BGG).
3.
Gemäss Art. 42 Abs. 1 BGG hat die Beschwerde Anträge zu enthalten und nach Art. 42 Abs. 2 BGG ist in der Beschwerdebegründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Die Begründung muss sachbezogen sein und sich auf den Streitgegenstand beziehen und beschränken; die beschwerdeführende Partei hat in gezielter Auseinandersetzung mit den für das Ergebnis des angefochtenen Entscheides massgeblichen Erwägungen plausibel aufzuzeigen, welche Rechte bzw. Rechtsnormen die Vorinstanz verletzt haben soll (BGE 140 III 86 E. 2 S. 88 f.; 140 III 115 E. 2 S. 116).
4.
Nicht einzutreten ist auf die Anträge und Ausführungen zu zahlreichen Strafverfahren gegen verschiedene Personen. Diese sind nicht Gegenstand des vorliegenden Verfahrens. Ebenso wenig ist das offenbar gegen A._ laufende Konkursverfahren vorliegend Verfahrensgegenstand. A._ befasst sich nicht mit den Erwägungen des Kantonsgerichts, das dieses zu seinem Nichteintretensentscheid veranlasst haben. Schliesslich behauptet er zwar, er habe den Ausstand von F._ verlangt, belegt dies aber nicht.
Die Beschwerde erweist sich damit als offensichtlich unzulässig bzw. sie enthält offensichtlich keine hinreichende Begründung. Darauf ist im vereinfachten Verfahren gemäss Art. 108 Abs. 1 lit. a und b BGG durch den Abteilungspräsidenten nicht einzutreten. Mit dem Entscheid in der Sache wird das Gesuch um aufschiebende Wirkung (Aussetzen der Vollstreckbarkeit) gegenstandslos.
5.
Bei diesem Verfahrensausgang trägt A._ die Gerichtskosten (Art. 66 Abs. 1 BGG). Aufgrund der Umstände (oben E. 2) sind die Kosten einzig ihm und nicht auch seiner Frau aufzuerlegen.
Demnach erkennt der Präsident:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Das Gesuch um aufschiebende Wirkung wird als gegenstandslos abgeschrieben.
3.
Die Gerichtskosten von Fr. 700.-- werden A._ auferlegt.
4.
Dieses Urteil wird den Verfahrensbeteiligten und dem Kantonsgericht St. Gallen schriftlich mitgeteilt.
Lausanne, 24. April 2017
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Der Gerichtsschreiber: Zingg