Sachverhalt:
Mit Verfügung vom 28. Juni 2017 wurde für den seit 1993 verbeiständeten A._ eine Ersatzbeistandschaft errichtet zur Prüfung der Frage, ob in der Vergangenheit als Folge fehlerhaften Verhaltens von Beiständen oder Behörden Schäden entstanden sind und Schadenersatzansprüche bestehen.
Die als Ersatzbeiständin eingesetzte Rechtsanwältin B._ erstattete am 19. Januar 2018 einen Zwischen- und am 19. September 2019 den Schlussbericht. Mit Entscheid vom 27. November 2019 genehmigte das Familiengericht Zofingen die Berichte und setzte die Mandatsentschädigung fest, welche der Gemeinde U._ auferlegt wurde. Sodann erteilte es der Ersatzbeiständin neu den Auftrag zur Führung von Vergleichsgesprächen, insbesondere mit der Gemeinde U._ und deren Haftpflichtversicherung.
Auf die hiergegen eingereichte Beschwerde trat das Obergericht des Kantons Aargau mit Entscheid vom 5. Mai 2020 zufolge verspäteter Einreichung nicht ein. Subsidiär hielt es fest, dass auch mangels Erfüllung der Begründungsanforderungen auf die Beschwerde nicht eingetreten werden könnte.
Gegen diesen Entscheid hat A._ am 15. Mai 2020 beim Bundesgericht eine Beschwerde eingereicht mit den Begehren: "1. Es sei auf die Beschwerde einzutreten. 2. Es sei ebenfalls zu prüfen ob die Nichtigkeit festzustellen sei. 3. Es sei gemäss Einsprach vom 27.12.2019 zu handel lookerung oder Änderung des Mandates. 4. Es sei den Beirat zu enziehen Namentlich Versicherung, Ärzte, Briefpostverkehr."
Erwägungen:
1.
Die Vorinstanz ist auf das Rechtsmittel des Beschwerdeführers nicht eingetreten. Streitgegenstand ist deshalb grundsätzlich nur die Frage, ob die Vorinstanz zu Recht einen Nichteintretensentscheid gefällt hat (BGE 135 II 38 E. 1.2 S. 41). Diesbezüglich hat die Beschwerde eine Begründung zu enthalten, in welcher in gedrängter Form dargelegt wird, inwiefern der angefochtene Entscheid Recht verletzt (Art. 42 Abs. 2 BGG).
2.
Der Beschwerdeführer äussert sich zu Kinderbelangen, der Kompetenzattraktion des mit der Unterhaltsfrage befassten Gerichtes, zur (nach heutiger Rechtslage nicht mehr bestehenden Institution der) Beiratschaft und zu sozialversicherungsrechtlichen Dingen. Es scheint sich um aus verschiedenen Urteilen kopierte Textauszüge zu handeln und jedenfalls bleiben die Ausführungen ohne erkennbaren Zusammenhang mit der Thematik der Ersatzbeistandschaft, zu welcher sich der Beschwerdeführer nicht äussert. Noch weniger lassen sich der Beschwerde Ausführungen zur Einhaltung der kantonalen Beschwerdefrist bzw. zu den Nichteintretenserwägungen des angefochtenen Entscheides entnehmen.
3.
Nach dem Gesagten erweist sich die Beschwerde als offensichtlich nicht hinreichend begründet, weshalb auf sie nicht eingetreten werden kann und der Präsident im vereinfachten Verfahren entscheidet (Art. 108 Abs. 1 lit. b BGG).
4.
Angesichts der konkreten Umstände wird auf die Erhebung von Gerichtskosten verzichtet (Art. 66 Abs. 1 BGG).
Demnach erkennt der Präsident:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Es werden keine Gerichtskosten erhoben.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Familiengericht Zofingen und dem Obergericht des Kantons Aargau, Kammer für Kindes- und Erwachsenenschutz, schriftlich mitgeteilt.
Lausanne, 22. Mai 2020
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Möckli