Fischer studerte ved Bergens tekniske skole, Statens håndverks- og kunstindustriskole i Oslo, samt kunstakademiet i København. I perioden 1938-1960 var han konservator (senere førstekonservator) ved oldsaksamlingen ved Universitetet i Oslo og ledet en rekke utgravninger og undersøkelser av norske middelalderbyggverk, bl.a. Sverresborg, Utstein kloster, Hovedøya kloster, kongsgården i Bergen, Tunsberghus, Stavanger domkirke, Erkebispegården og Nidarosdomen.