Etter utdanning fra Kristiansand lærerskole i 1906 var han lærer fra 1908 i folkeskole, framhaldskole og folkehøgskole. Fra 1911 til 1945 var han lærer i Kristiansand folkeskole, i 1920-21 også ved Kristiansand lærerskole. Han ble arrestert under tyskernes læreraksjon og sendt til Kirkenes i 1942. I 1945 ble han skoleinspektør i Oddernes, og fra 1947 til 1956 var han skoledirektør i Agder og Stavanger. Karl Johan Fjermeros var gift med Hanne Marie Fjermeros, født Torkildsen. De fikk fire barn, deriblant Bue Fjermeros.