Piotr Gradowski był synem poległego w Powstaniu Kościuszkowskim Floriana. Żenił się dwukrotnie: najpierw z Teklą Pawłowską, z którą miał czterech synów, Oktawiana, Cezarego, Ludwika i Oskara, a po śmierci pierwszej żony i nabyciu Babszyna, z Józefą Gajewską z Serbów koło Mohylowa. Z małżeństwa drugiego pochodziły córki Amelia i Henryka oraz syn Leon. Babszyn Piotr Gradowski zapisał najmłodszemu synowi Leonowi (1842–1908), żonatemu z Oktawią Wołoszynowską (zm. 1905), córką Oktawiana i Honoraty z Bednarowskich. Z kolei Leon Gradowski miał trzy córki: Eleonorę, zamężną za Wacławem Tuskim, Kazimierę, która poślubiła wdowca po siostrze, i Oktawie, żonę Kaliksta Morawskiego, oraz syna Stanisława (1869–1945), ożenionego z Klotyldą Suchodolską (zm. 1954), ostatniego właściciela Babszyna do 1920 roku.