Fischer var gift med Dorothea «Tulla» Stoud Platou (født 23. september 1903, død 25. august 1992), som arbeidet mye sammen med sin mann, også med forskning. Hun var mag.art. og utdannet i museumsfag ved Norsk Folkemuseum. Sammen mottok ekteparet Fischer Fridtjof Nansens belønning for fremragende forskning i 1965 «for deres arkeologiske og antikvariske arbeider, særlig verket Domkirken i Trondheim – Kirkebygget i middelalderen». Dorothea var datter av fylkesmann Theodor Christian Stoud Platou (1858–1942) og Helene Boe (1874–1957).