Fisker ble født på Frederiksberg. Han tok realeksamen i 1909 og gikk på Kunstakademiets Arkitektskole fra 1909 til 1920, da han tok avgangseksamen som arkitekt. I studietiden var han ansatt på Anton Rosens arkitektkontor fra 1912, i Stockholm hos Sigurd Lewerentz og Gunnar Asplund i 1916 og hos Hack Kampmann i København fra 1918.