Био је у браку са лекарком Сашом Божовић (1912—1995) са којом је имао четворо деце. Новембра 1941. године Саша је у италијанском логору у Албанији родила њихову ћерку Долорес. Крајем 1941. оне су били размењене за заробљене италијанске војнике, али је њихова ћеркица услед ратних напора преминула марта 1943. године у току битке на Неретви. Након рата добили су двојицу синова — Ивана и Славка, чланове прве поставе рок групе „Црни бисери” и ћерку Иву.