Vào đầu thế kỷ thứ 2, địa điểm của nhà thờ hiện nay là đền thờ nữ thần Aphrodite; nhiều nhà văn thời xưa mô tả nơi đây là đền thờ nữ thần Venus, vị thần của người La Mã tương đương nữ thần Aphrodite. Eusebius, trong quyển "Life of Constantine" của ông cho rằng địa điểm nhà thờ này có nguồn gốc từ một nơi tôn kính của Kitô giáo, nhưng hoàng đế Hadrianus đã cố ý cho đổ đất lấp những nơi của Kitô giáo này, rồi xây đền thờ của riêng ông trên đỉnh (đất lấp), do ông ghét Kitô giáo. Mặc dù Eusebius không nói nhiều, nhưng dường như đền thờ nữ thần Aphrodite đã được xây dựng như một phần trong cuộc tái thiết Jerusalem của Hadrianus giống như Aelia Capitolina năm 135, sau khi Jerusalem bị tàn phá bởi cuộc Chiến tranh Do Thái-La Mã thứ nhất năm 70 và cuộc Khởi nghĩa Bar Kokhba năm 132–135.