Etter krigen mister Ellefsen retten til å inneha foreningsverv i Norske arkitekters landsforbund i 1 år, fram til 1. januar 1947. Tilsvarende straff ble gitt til arkitekter som under krigen hadde utført arbeid, direkte eller indirekte, for tyskerne eller Nasjonal Samling. Fra 1945 jobbet han mest for kommunene (regulering), herunder den på Vaterland 1954.