Leopold ble kritisert for sitt skandaløse privatliv, med stadige kontroverser med sine døtre og en hel del elskerinner. Cléo de Mérode, en kjent danser, ble utpekt som Leopolds elskerinne, men dette er ikke klarlagt og ble alltid bestridt av henne selv.