Både Justin Martyr (100–165) og Origenes (185–254) forteller om grotten som Jesus ble født i. Den første kirken på stedet ble bygget av St. Helena, mor til keiser Konstantin den store. Byggingen startet under overoppsyn av biskop Makarios av Jerusalem i 327 og ble fullført i 333. Den bygningen ble ødelagt i 529. Den nåværende basilika ble gjenoppbygget i 565 av keiser Justinian I den store. Da perserne under Khosrau II av Persia invaderte området i 614, lot de være å ødelegge kirken, angivelig fordi hærføreren deres, general Shahrbaraz av Persia ble rørt av å se tegning av de tre vise menn kledd i persiske klær.