Clementine ble født av Blanche Henrietta Hozier, gift med Henry Montague Hozier. Hvem som var hennes far er imidlertid omstridt, lady Blanche var kjent for å være liberal, og hun mente selv at Clementines far var kaptein William George «Bay» Middleton.