Servilia creció en la casa del tribuno Marco Livio Druso, un tío materno, después del escandaloso divorcio de sus padres.