Før Konstantins omvendelse til kristendommen i 312 feiret man Kristi himmelfartsdag i en grotte på Oljeberget (der Pater Noster-kirken står i dag), men ved pilegrimen Egerias besøk i 384 hadde feiringen flyttet til det sted der kapellet nå står. Det første kapellet på stedet ble oppført en gang mellom 384 og 390 av en romersk adelskvinne ved navn Poimenia. Poimenias kapell ble ødelagt av perserne i 614 og ble gjenoppført av patriark Modestus av Jerusalem. Denne kirken var rund og åpen mot himmelen. Modestus' kirke ble ødelagt av araberne på 900-tallet.