Erwägungen:
1.
Das Kreisgericht Rheintal erteilte der Beschwerdegegnerin gegenüber dem Beschwerdeführer mit Entscheid vom 29. März 2017 provisorische Rechtsöffnung für Fr. 55'646.45 und Kosten. Am 25. April 2017 klagte der Beschwerdeführer beim Kreisgericht auf Aberkennung der betriebenen Forderung. Mit Entscheid vom 12. September 2017 trat das Kreisgericht infolge Nichtbezahlens des Kostenvorschusses auf die Klage nicht ein.
Dagegen erhob der Beschwerdeführer am 4. November 2017 fristgerecht Berufung an das Kantonsgericht St. Gallen. Ausdrückliche Anträge und eine Begründung fehlten. Er teilte mit, er benötige wegen einer Computerpanne mehr Zeit und ersuchte mehrfach um Fristerstreckung, obschon ihn das Kantonsgericht darauf hinwies, eine Fristerstreckung sei nicht möglich, aber allenfalls eine Fristwiederherstellung. Das Kantonsgericht nahm eines der Fristerstreckungsgesuche als Wiederherstellungsgesuch entgegen. Mit Entscheid vom 4. Mai 2018 liess es offen, ob bei der gegebenen Ausgangslage ein Wiederherstellungsgesuch überhaupt zulässig sei, da es jedenfalls unbegründet sei. Auf die Berufung trat es nicht ein.
Gegen diesen Entscheid hat der Beschwerdeführer am 12. Juni 2018 Beschwerde an das Bundesgericht erhoben.
2.
Die Rechtsnatur der abzuerkennenden Forderung ist nicht bekannt. Jedenfalls geht es um eine Zivilsache (Art. 72 ZGB) und der für die Beschwerde in Zivilsachen massgebliche Streitwert (Art. 74 Abs. 1 lit. b BGG) ist erreicht. Ermessensweise und ohne präjudizierende Wirkung wird davon ausgegangen, die Angelegenheit falle in die Zuständigkeit der II. zivilrechtlichen Abteilung.
Ausweislich des Track & Trace-Auszugs der Schweizerischen Post hat der Beschwerdeführer den angefochtenen Entscheid am 12. Mai 2018 entgegengenommen. Die dreissigtägige Beschwerdefrist (Art. 100Abs. 1 BGG) ist somit am Montag, 11. Juni 2018, abgelaufen. Die am 12. Juni 2018 der Post übergebene Beschwerde ist verspätet.
Der Beschwerdeführer geht ausdrücklich davon aus, er habe fristgerecht Beschwerde erhoben und er stellt kein Fristwiederherstellungsgesuch (Art. 50 BGG). Er bringt allerdings vor, er habe eine schwere Grippe mit drei folgenden Lungenentzündungen erlitten. Er belegt dies jedoch in keiner Art und Weise. Ein Fristwiederherstellungsgesuch müsste deshalb abgewiesen werden, wenn er eines gestellt hätte.
Im Übrigen enthält die Beschwerde keine Anträge und keine hinreichende Begründung (Art. 42 Abs. 1 und Abs. 2 BGG). Der Beschwerdeführer führt diesbezüglich einzig aus, die Forderung sei übernommen bzw. übertragen worden und er sei nur der Adressat. Diese Ausführungen sind unverständlich.
Die Beschwerde ist damit offensichtlich unzulässig und sie enthält offensichtlich keine hinreichende Begründung. Auf sie ist im vereinfachten Verfahren durch das präsidierende Mitglied der Abteilung nicht einzutreten (Art. 108 Abs. 1 lit. a und b BGG).
3.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 BGG).
Demnach erkennt das präsidierende Mitglied:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 18. Juni 2018
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg