Romulus’ morfar het Numitor og var konge av Alba Longa som antikkens historikere mente var grunnlagt av Æneas' etterkommere. Etter at Numitor kom på tronen, lyktes hans misunnelige yngre bror Amulius å frata ham kongemakten. Amulius sørget også for å få drept Numitors sønn, Aegestus. Numitors datter Rhea Silvia (i noen versjoner kalles hun Ilia) ble tvunget til et liv som vestalinne der hun måtte leve i kyskhet, slik at han ikke risikerte at hun kom til å få barn som kunne true hans posisjon. Men en dag ble hun antastet av krigsguden Mars som gjorde henne gravid, og slik fikk hun tvillingsønnene Romulus og Remus. Amulius fikk spedbarna satt ut for å dø, men kurven de lå i, ble ført nedover Tiberen før den la seg til ro ved bredden.