南朝の梁の時代、武帝の天監13年（514年）に、独龍阜の玩珠峰の麓に創建された。これは、現在の明孝陵の位置に当たる。また、その造立の目的は、この寺に武帝が尊崇した宝誌和尚を葬るためであった。開創当初の寺名は、開善寺であった。唐の乾符中（874年 - 879年）に寺名を宝公院と改め、北宋初の太平興国5年（980年）には太平興国寺と改められた。明代初期には蒋山寺と呼ばれていた。朱元璋が独龍阜を自らの陵墓の地に選び、よって当寺を現在地に移転し、霊谷禅寺の寺額を賜った。清初には、兵火に遭って大打撃を受けたが、次第に復興を果たした。康熙帝や乾隆帝がしばしば行幸し、当寺に逗留した。しかし、咸豊年間（1851年 - 1860年）には、再び南京に拠った太平天国の兵火を浴び、乱の平定後には無量殿以外の伽藍は廃墟となってしまった。その後、曽国藩らの手によって次第に復興を果たし、明代の霊谷寺の威容を取り戻した。中華民国時代の1928年には、民国政府によって国民革命軍陣亡将士公墓が建設された。1949年の中華人民共和国成立以後に霊谷寺公園に改められた。
第12王朝の初代王はアメンエムハト1世である。第11王朝最後の王メンチュヘテプ4世の治世第2年に王のための石棺の材料を得るために派遣された遠征隊の司令官の名前が宰相のアメンエムハトであることから、このアメンエムハトとアメンエムハト1世が同一人物であり、クーデターによって王位を簒奪したのであろうと言われている。『ネフェルティの予言』と呼ばれる文書によればアメンエムハト1世は上エジプト第1県の出身であったとされる。エレファンティネを首都とするこの州の厳密な境界ははっきりしないが、南はヌビアであるためアメンエムハト1世にヌビア人の血が入っているという説も存在する。果てしない混乱の続いた第1中間期の終焉は人々の間に「救世主」によって救われたのだという観念を生み出した。こうした風潮を利用した第12王朝の王達は、先行した第11王朝の統一事業を無視し、文学作品を通じて統一者、救済者であるのはアメンエムハト1世であると言う政治宣伝を繰り広げた。『ネフェルティの予言』は理想化された過去の時代である古王国時代の第4王朝を舞台にして神官ネフェルティがスネフェル王に予言を聞かせるという形式の文書である。この文書によればネフェルティはスネフェル王の求めに応じて、全土が混乱と掠奪に晒されることや下エジプト（ナイル川デルタ地方）へのアジア人の侵入のあることを語った。そしてその混乱状態を救済する者として、アメンエムハト1世が登場するとし、しかもそれを数百年以上前に予言されていたこととすることで信頼性を得ようと試みている。正統性を確保するため、また戦略的な理由から、首都がテーベ（古代エジプト語：ネウト、現在のルクソール）から古王国時代の首都メンフィスのそばに建設したイチ・タウィへと遷された。「二つの土地の征服者」と言う意味の名を持つこの新首都は、正確な位置が未だ不明なままである。そして近郊のエル・リシュトにピラミッド複合体の建設を行い、旧秩序の復活者としての立場を明確なものとしていった。更にアメンエムハト1世は第11王朝時代に任命されていた州侯を罷免し、王室に敵対的であるとして排除された有力者の地位を復活させた。これはアメンエムハト1世の即位が第11王朝の政策に不満を持つ有力者の支持を背景としたものであったためである。しかし、家臣が強大な権力を持つことは王権の側からは好ましいことであるはずも無く、第12王朝の歴代王は長期的には州侯などの権力を削いでいく方針を持って統治に当たった。そして息子のセンウセレト1世がアメンエムハト1世によって共同統治者に任命された。これによって王位継承を確かな物にしようとしたのであるが、これは後に大きな効果を発揮した。アメンエムハト1世が国内基盤の整備に力を注ぐ一方で、センウセルト1世は対外遠征を取り仕切り、シナイ半島やリビア人への遠征を行った。アメンエムハト1世は、治世第30年（紀元前1962年頃）に衛兵によって暗殺された。『シヌヘの物語』と呼ばれる文学作品の記述を信ずるならば、その時共同統治者センウセルト1世はリビア人に対する遠征に勝利して帰還する途上であったが、父王暗殺の報を受けると軍隊を残し、少数の従者と共に急ぎ首都に帰還した。そして恐らくアメンエムハト1世暗殺によって王位を得ようとした別の王子を殺害し、混乱を素早く収集して王位を保持することに成功した。共同統治者を置いたことが王位簒奪の防止に有効であることが実例を持って証明され、以後第12王朝では代々共同統治者が置かれ続けた。センウセルト1世は父王の政策を受け継いで国内の基盤整備に尽力した。南方のヌビアへの遠征が行われ、第2急湍を越えて進軍して当時ケルマを中心に繁栄していたクシュを征服したことで重要な金鉱が確保され、騒乱に対応するために少なくても13の要塞を南部に建設した。彼は各地で熱心に建築事業を行い、現在でもエジプトの全域からセンウセルト1世にまつわる遺跡が残されている。中でも治世第30年に建設されたオベリスクは立った状態のまま現存するものとしては最古のものである。センウセルト1世は晩年、息子のアメンエムハト2世を共同統治者に任命した。これによって大きな混乱も無く紀元前1926年頃のセンウセルト1世の死去に伴いアメンエムハト2世の治世が訪れた。アメンエムハト2世と続くセンウセレト2世のあわせて50年余りにも及ぶ時代は安定した平和が継続していた。活発な建築活動が継続して行われており、また食糧生産の増加を目指して農地開発が行われた。センウセルト2世の時代に大規模な干拓工事がファイユームで着工された。ファイユームは当時ナイル川の水が流れ込んで作った湿地帯が広がり、農耕の困難な土地であったが、大規模な堤防を築くことでナイル川からの水の流入を防ぐことが試された。この大工事は彼の後継者センウセレト3世の治世を経て、その次のアメンエムハト3世の時代までかけて達成され、ファイユームはエジプト有数の穀倉地帯となった。