Witold Podgórski był synem działaczy niepodległościowych Przemysława Podgórskiego i Anny Podgórskiej oraz bratem m.in. Marii Piskorskiej (żony Tomasza Piskorskiego, który został zamordowany w Charkowie). Był dwukrotnie żonaty: ożenił się z Haliną Ciemniewską, następnie z Danutą Cichocką, z którą miał 2 córki: Magdalenę i Klarę.