Erwägungen:
1.
Mit Verfügung vom 12. August 2020 genehmigte die KESB Region Gossau den Schlussbericht und die Schlussrechnung der bisherigen Beiständin des Beschwerdeführers von 1. Januar 2019 bis 31. März 2020, sprach ihr eine Entschädigung zu und entliess sie aus dem Amt. Zugleich wählte die KESB eine neue Beiständin, umschrieb ihre Aufgaben und hielt fest, dass die Handlungsfähigkeit dem Beschwerdeführer weiterhin teilweise entzogen bleibt.
Dagegen erhob der Beschwerdeführer am 10. September 2020 Beschwerde. Da er keine Zustelladresse angegeben hatte, forderte ihn die Verwaltungsrekurskommission des Kantons St. Gallen über die Publikationsplattform auf, einen Kostenvorschuss zu leisten und eine Zustelladresse in der Schweiz zu bezeichnen. Nachdem der Beschwerdeführer weder den Kostenvorschuss bezahlt noch eine Zustelladresse bezeichnet hatte, schrieb die Verwaltungsrekurskommission am 11. Dezember 2020 die Beschwerde als erledigt ab. Sie erhob keine Kosten.
Daraufhin gelangte der Beschwerdeführer an die Anklagekammer des Kantons St. Gallen (Eingang am 21. Dezember 2020), welche die Eingabe an die II. Zivilkammer des Kantonsgerichts St. Gallen weiterleitete. Am 11. Januar 2021 ging beim Kantonsgericht eine weitere Eingabe des Beschwerdeführers ein. Mit Entscheid vom 25. Februar 2021 trat das Kantonsgericht auf die Beschwerde mangels Antrags und mangels genügender Begründung nicht ein. Es erhob keine Kosten.
Gegen diesen Entscheid hat der Beschwerdeführer am 1. April 2021 (Postaufgabe) Beschwerde an das Bundesgericht erhoben. Am 1. April 2021 hat er sich in derselben Sache zudem per E-Mail an das Bundesverwaltungsgericht gewandt, das die Eingabe dem Bundesgericht weitergeleitet hat.
2.
Die Eingabe an das Bundesgericht ist nicht eigenhändig unterschrieben (Art. 42 Abs. 1 BGG) und die Eingabe an das Bundesverwaltungsgericht ist nicht mit einer anerkannten elektronischen Signatur versehen (Art. 42 Abs. 4 BGG). Angesichts des Ausgangs des Verfahrens ist auf eine Aufforderung zur Behebung des Mangels (Art. 42 Abs. 5 BGG) zu verzichten.
3.
Der angefochtene Entscheid ist ein Nichteintretensentscheid. Thema des bundesgerichtlichen Verfahrens ist demnach einzig, ob das Kantonsgericht zu Recht auf die kantonale Beschwerde nicht eingetreten ist. Diesbezüglich hat die Beschwerde an das Bundesgericht eine Begründung zu enthalten (Art. 42 Abs. 2 BGG), in der in gezielter Auseinandersetzung mit den für das Ergebnis des angefochtenen Entscheides massgeblichen Erwägungen aufzuzeigen ist, welche Rechte bzw. Rechtsnormen die Vorinstanz verletzt haben soll (BGE 140 III 86 E. 2 S. 88 f.; 140 III 115 E. 2 S. 116). Der Beschwerdeführer geht jedoch auf die Gründe für den Nichteintretensentscheid nicht genügend ein. Soweit er dem Kantonsgericht vorwirft, etwas übersehen zu haben, behauptet und belegt er nicht detailliert, was das Kantonsgericht in welcher der an dieses Gericht gerichteten Eingaben übersehen haben soll oder weshalb das Kantonsgericht auf andere Eingaben hätte abstellen müssen, etwa auf solche, die sich an die Verwaltungsrekurskommission richteten. Dies gilt insbesondere insoweit, als der Beschwerdeführer behauptet, Anträge gestellt zu haben. Soweit er nunmehr Anträge im Zusammenhang mit der Verfügung der KESB vom 12. August 2020 stellt (Ablehnung der Rechnung etc.), sind diese demnach neu und damit unzulässig (Art. 99 Abs. 2 BGG).
Die Beschwerde ist damit offensichtlich unzulässig und sie enthält offensichtlich keine hinreichende Begründung. Auf sie ist im vereinfachten Verfahren durch das präsidierende Mitglied der Abteilung nicht einzutreten (Art. 108 Abs. 1 lit. a und b BGG).
4.
Aufgrund der Umstände ist auf die Erhebung von Gerichtskosten zu verzichten (Art. 66 Abs. 1 BGG).
Demnach erkennt das präsidierende Mitglied:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Es werden keine Gerichtskosten erhoben.
3.
Dieses Urteil wird dem Beschwerdeführer, seiner Beiständin, der KESB Region Gossau und dem Kantonsgericht St. Gallen, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 9. April 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg