Asor var sønn av Margrethe Styben og Frits Anton Hansen. I 1886 giftet han seg i København med Ane Christine Jensen von Krogh (1861–1919). Forfatteren Axel Krogh var deres sønn.