Cæsar hadde først planlagt å bygge tempelet for , men slaget ved Pharsalus i 48 f.Kr. utsatte byggingen. Han besluttet å dedikere sin eget tempel Venus Genetrix som mor av Aineias, betraktet som stamfar til Julia som Cæsar selv tilhørte.