Oswald Mosley hadde tre barn med sin første kone, bl.a. Nicholas Mosley, 3. baron Ravensdale, som skrev en biografi om sin far. Med Diana Mitford hadde han to sønner, bl.a. Max Mosley, som var president for Det internasjonale bilsportforbundet. Mosley hadde også forhold til en rekke andre kvinner, bl.a. sin første kones søster lady Alexandra Metcalfe.