Michał Żółtowski pochodził ze znanej wielkopolskiej rodziny ziemiańskiej, właścicieli majątków Czacz, Białcz, Drzewce, Mierzewo, Czarkowo o powierzchni łącznej 4606 ha. Ojciec, Jan hr. Żółtowski, działał w Komitecie Narodowym Polskim, brał udział w obradach Konferencji pokojowej w Paryżu (1919), był prezesem Urzędu Likwidacyjnego w Poznaniu w latach 1919–1923, honorowym prezesem Wielkopolskiego Związku Ziemian w latach 1926–1936, oficerem Orderu Polonia Restituta.