Leila Rydman-Kalervon isä oli kruununvouti Arno August Rydman (1866–1934). Hän vietti lapsuutensa Kiikassa sijainneessa Ruotsilan kartanossa ja asui myöhemmin muun muassa Viipurissa, ennen muuttoaan Helsinkiin sotavuosien jälkeen. Rydman-Kalervon puoliso oli valokuvaaja Vilho Kustaa Kalervo (1893–1951), johon hän tutustui palvellessaan vapaaehtoisena Viron vapaussodan huoltojoukoissa.