Ojcem jego był Józef Haller (1783-1850), w latach 1836–1839 przewodniczący senatu Wolnego Miasta Krakowa, a matką była Elżbieta Gorczyńska. Miał trzech braci i siostrę. Jego bratem był m.in. Henryk Haller von Hallenburg (1831–1888) – uczestnik powstania styczniowego, ziemianin, finansista. Był ojcem Józefa Antoniego Juliusza (1853-1923), stryjem Cezarego Wojciecha Hallera (1875-1919) oficera poległego w czasie wojny polsko-czechosłowackiej w przegranej przez polską samoobronę bitwie z oddziałami regularnego wojska czeskiego pod Kończycami Małymi, i gen. Józefa Hallera (1873–1960 w Londynie).