Da den såkalte askersaken ble rullet opp av tyskerne på sommeren 1943, ble gymnasiasten og Milorgmannen Brunborg arrestert 8. juli. Fra 3. august 1943 til 12. februar 1944 satt han på Grini og skal ved en tilfeldighet ha sluppet fri. Broren Olav Brunborg døde i Natzweiler i april 1944. Etter annen verdenskrig dro Erling Brunborg på sildefiske på Island, og han hadde et engasjement ved det islandske konsulatet i Marseille i Frankrike – dit han syklet.