Асен Хаджиолов е женен за Елена Атилова Силаги (родена през 1899 г.), с която имат две деца: Асен Асенов Хаджиолов (роден през 1930 г.) и Кремена Хаджиолова (родена през 1936 г.). Бащата на Еленка Атилова Силаги е полк. Атила Силаги, участник в Първата световна война и починал от раните си, получени по време на атентата в църквата „Света Неделя“. Кремена Хаджиолова се жени за художника Димитър Каранджулов.