Erwägungen:
1.
Die Vormundschaftsbehörde U._ errichtete am 31. Oktober 2006 eine Beistandschaft für A._ (geb. 1980; Beschwerdeführer), nachdem sein Vater der Vormundschaftsbehörde gemeldet hatte, sein Sohn gehe seit acht Monaten keiner Erwerbstätigkeit mehr nach und sei hoch verschuldet. Im April 2008 wurde der Beschwerdeführer wegen psychotischer Dekompensation bei einer bekannten paranoiden Schizophrenie in die Psychiatrische Klinik B._ eingewiesen. In den Jahren 2009 und 2014 kam es zu weiteren fürsorgerischen Freiheitsentziehungen bzw. Unterbringungen. Am 29. Oktober 2014 wurde die bisherige Beistandschaft in eine Vertretungsbeistandschaft umgewandelt.
Ab August 2016 gelangte der Beschwerdeführer an die KESB Ausserschwyz mit dem sinngemässen Ansinnen auf Aufhebung der Beistandschaft. Mit Beschluss vom 11. Januar 2017 genehmigte die KESB Bericht und Rechnung des stellvertretenden Beistands, entlastete einen früheren Beistand, erliess Anweisungen an die Beiständin und sprach ihr eine Entschädigung zu. Mit Beschluss vom 8. Februar 2017 wies die KESB den Antrag auf Aufhebung der Beistandschaft ab.
Am 14. Februar 2017 gelangte der Beschwerdeführer mit einer Eingabe an die KESB Ausserschwyz, die an das Verwaltungsgericht des Kantons Schwyz weitergeleitet wurde. Einer Aufforderung zur Verbesserung bezüglich Antrag und Begründung (Verfügung vom 15. Februar 2017 und darauf folgende telefonische Kontakte vom 20. und 21. Februar 2017) kam der Beschwerdeführer nicht nach. Mit Entscheid vom 29. März 2017 wies das Verwaltungsgericht die Beschwerde ab, soweites darauf eintrat. Zur Begründung hielt das Verwaltungsgericht fest, es sei androhungsgemäss auf die wirre Beschwerde nicht einzutreten, nachdem diese nicht verbessert worden sei. Selbst wenn darauf eingetreten werden könnte, sei sie abzuweisen. Der Beschwerdeführer leide an einer paranoiden Schizophrenie und der Krankheitsverlauf sei schwankend. Die Ausführungen des stellvertretenden Beistands seien glaubhaft, wonach der Beschwerdeführer Mühe habe, die ihm wöchent lich ausbezahlten Geldbeträge selber einzuteilen und angemessen einzusetzen, und wonach er mit seinen administrativen Angelegenheiten überfordert sei. Diese Überforderung zeige sich auch in der vorliegenden Prozessgeschichte. Dass er nicht in der Lage sei, adäquat auf einfache Lebensvorgänge zu reagieren, zeige sich namentlich daran, dass er die Beschwerde nicht verbessert habe. Der Beschwerdeführer habe auch nicht dargelegt, dass er sein Leben ohne Vertretungsbeistandschaft alleine bewältigen könnte.
Mit Eingabe vom 8. April 2017 verlangt der Beschwerdeführer die Aufhebung des Entscheids vom 29. März 2017. Die Eingabe war an die KESB Ausserschwyz gerichtet und ist von dieser am 21. April 2017 an das Bundesgericht weitergeleitet worden.
2.
Angefochten ist ein kantonal letztinstanzlicher Entscheid im Bereich des Erwachsenenschutzes (Art. 72 Abs. 2 lit. b Ziff. 6 und Art. 75 Abs. 1 BGG), womit die Beschwerde in Zivilsachen grundsätzlich gegeben ist.
Gemäss Art. 42 Abs. 1 BGG hat die Beschwerde Anträge zu enthalten und nach Art. 42 Abs. 2 BGG ist in der Beschwerdebegründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Die Begründung muss sachbezogen sein und sich auf den Streitgegenstand beziehen und beschränken; die beschwerdeführende Partei hat in gezielter Auseinandersetzung mit den für das Ergebnis des angefochtenen Entscheides massgeblichen Erwägungen plausibel aufzuzeigen, welche Rechte bzw. Rechtsnormen die Vorinstanz verletzt haben soll (BGE 140 III 86 E. 2 S. 88 f.; 140 III 115 E. 2 S. 116).
3.
Der Beschwerdeführer strebt die Aufhebung des Entscheids vom 29. März 2017 an. Abgesehen davon bleibt seine Eingabe unverständlich. Eine Auseinandersetzung mit dem angefochtenen Entscheid fehlt.
Angesichts der Prozessgeschichte ist eine Rückweisung der Beschwerde zur Verbesserung (Art. 42 Abs. 6 BGG) nicht erfolgversprechend. Somit ist darauf infolge offensichtlich unzureichender Begründung unmittelbar und im vereinfachten Verfahren durch den Präsidenten der Abteilung nicht einzutreten (Art. 108 Abs. 1 lit. b BGG).
4.
Aufgrund der konkreten Umstände ist auf die Erhebung von Gerichtskosten zu verzichten (Art. 66 Abs. 1 BGG).
Demnach erkennt der Präsident:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Es werden keine Kosten erhoben.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Verwaltungsgericht des Kantons Schwyz, Kammer III, schriftlich mitgeteilt.
Lausanne, 24. April 2017
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: von Werdt
Der Gerichtsschreiber: Zingg