Nach seiner Pensionierung 1954 war er noch ungefähr ein Jahr für die Messe Köln tätig, die sich damals nur teilweise in öffentlichem Besitz befand. Die Stadtverwaltung legte im Oktober 1954 großen Wert darauf, ihn auf Privatdienstvertrag befristet weiterzubeschäftigen, um eine Reihe von Projekten aus dem Bereich der Stadtplanung und in der Anlaufphase den ab 1. April 1954 erstmals tätig gewordenen Umlegungsausschuss weiter von ihm betreuen zu lassen. So konnte man die damals auf gesetzlichem Wege eingeführte Altersdiskriminierung doch noch ein wenig umgehen, denn trotz der noch nicht abgelaufenen Wahlzeit musste Ernst Fresdorf nach Erreichen der Altersgrenze laut Landesbeamtengesetz zum 1. Oktober 1954 ausscheiden. Eine von der Stadt gewünschte und beantragte ausnahmsweise Dienstzeitverlängerung lehnte der Regierungspräsident ab. Ehrenamtlich engagierte er sich unter anderem beim DRK in Köln, in Gremien der 1951 gegründeten Antoniter Siedlungsgesellschaft mbH im Evangelischen Kirchenverband Köln und Region (ASG) sowie bei einem Altenheimträger. Wahrscheinlich im Rahmen seiner Mitarbeit beim DRK, war Fresdorf auch in der Hilfe für Ungarnflüchtlinge 1956 tätig. Er war Vorsitzender der Gesamtleitung der ersten Kölner Bundesgartenschau 1957 im Rheinpark-Gelände und legte den von ihm unterzeichneten Schlussbericht zur BUGA 1957 vor.