История строительства сооружения, в котором находится гробница, неопределённа. По-видимому, здание являлось синагогой, возведённой в I веке, либо одной из раннехристианских церквей. Во время взятия Иерусалима персидской армией Сасанидов в 614 году оно было повреждено, в то время как соседняя с ним базилика Айя-Сион, разрушена. В XII столетии на этом месте крестоносцами была построена церковь, в нижнем этаже которой находился кенотаф, почитаемый уже тогда как "гробница царя Давида". В 1335 году орденом францисканцев здесь был основан монастырь, но в 1524 году турецкий султан Сулейман I конфисковал это место и превратил здание в мечеть, посвящённую пророку Дауду ("Аль-Наби Дауд"). Во время Первой арабо-израильской войны в 1948 году "гробница царя Давида" перешла к израильтянам и с тех пор является местом паломничества приверженцев иудаизма.