In de 2e eeuw liet Keizer Hadrianus de groeve dichtgooien met puin en daarbovenop een tempel bouwen die gewijd was aan de godin Venus. Hadrianus deed dit vermoedelijk om de plek te ontheiligen en zo het groeiende Christendom tegen te gaan. Volgens sommige bronnen werd op de rots van Golgotha een beeld van Venus geplaatst. Ook was de tempel onderdeel van de herbouw van Jeruzalem nadat de stad zwaar beschadigd was na eerst de Joodse Oorlog en daarna de Bar Kochba-opstand.