I sine yngre år ble Lepida forlovet med Claudius, men hennes foreldre falt i unåde hos Augustus, og keiseren opphevet forlovelsen. I år 8 ble hennes mor Julia den yngre (også kalt Vipsania Julia) sendt i eksil for utroskap, på samme måte som sin mor Julia. Hennes far Lucius ble henrettet i år 14 for å ha deltatt i en sammensvergelse mot Augustus.