Borobudur
langsung dibangun stupa tunggal yang sangat besar. Tahap ketiga: Terjadi perubahan rancang bangun, undak atas lingkaran dengan stupa tunggal induk besar dibongkar dan diganti tiga undak lingkaran. Stupa-stupa yang lebih kecil dibangun berbaris melingkar pada pelataran undak-undak ini dengan satu stupa induk yang besar di tengahnya. Karena alasan tertentu pondasi diperlebar, dibangun kaki tambahan yang
membungkus kaki asli sekaligus menutup relief Karmawibhangga. Para arkeolog menduga bahwa Borobudur semula dirancang berupa stupa tunggal yang sangat besar memahkotai batur-batur teras bujur sangkar. Akan tetapi stupa besar ini terlalu berat sehingga mendorong struktur bangunan condong bergeser keluar. Patut diingat bahwa inti Borobudur hanyalah bukit tanah sehingga tekanan pada bagian
atas akan disebarkan ke sisi luar bagian bawahnya sehingga Borobudur terancam longsor dan runtuh. Karena itulah diputuskan untuk membongkar stupa induk tunggal yang besar dan menggantikannya dengan teras-teras melingkar yang dihiasi deretan stupa kecil berterawang dan hanya satu stupa induk. Untuk menopang agar dinding candi tidak longsor maka ditambahkan struktur kaki tambahan yang
membungkus kaki asli. Struktur ini adalah penguat dan berfungsi bagaikan ikat pinggang yang mengikat agar tubuh candi tidak ambrol dan runtuh keluar, sekaligus menyembunyikan relief Karmawibhangga pada bagian Kamadhatu Tahap keempat: Ada perubahan kecil seperti penyempurnaan relief, penambahan pagar langkan terluar, perubahan tangga dan pelengkung atas gawang pintu, serta pelebaran ujung kaki.
Borobudur tersembunyi dan telantar selama berabad-abad terkubur di bawah lapisan tanah dan debu vulkanik yang kemudian ditumbuhi pohon dan semak belukar sehingga Borobudur kala itu benar-benar menyerupai bukit. Alasan sesungguhnya penyebab Borobudur ditinggalkan hingga kini masih belum diketahui. Tidak diketahui secara pasti sejak kapan bangunan suci ini tidak lagi
menjadi pusat ziarah umat Buddha. Pada kurun 928 dan 1006, Raja Mpu Sindok memindahkan ibu kota kerajaan Medang ke kawasan Jawa Timur setelah serangkaian letusan gunung berapi; tidak dapat dipastikan apakah faktor inilah yang menyebabkan Borobudur ditinggalkan, akan tetapi beberapa sumber menduga bahwa sangat mungkin Borobudur mulai ditinggalkan pada periode ini. Bangunan suci ini disebutkan secara samar-samar
sekitar tahun 1365, oleh Mpu Prapanca dalam naskahnya Nagarakretagama yang ditulis pada masa kerajaan Majapahit. Ia menyebutkan adanya "Wihara di Budur". Selain itu Soekmono (1976) juga mengajukan pendapat populer bahwa candi ini mulai benar-benar ditinggalkan sejak penduduk sekitar beralih keyakinan kepada Islam pada abad ke-15.
Monumen ini tidak sepenuhnya dilupakan, melalui dongeng rakyat Borobudur beralih dari sebagai bukti kejayaan masa lampau menjadi kisah yang lebih bersifat tahayul yang dikaitkan dengan kesialan, kemalangan dan penderitaan. Dua Babad Jawa yang ditulis abad ke-18 menyebutkan nasib buruk yang dikaitkan dengan monumen ini. Menurut Babad Tanah Jawi (Sejarah
Jawa), monumen ini merupakan faktor fatal bagi Mas Dana, pembangkang yang memberontak kepada Pakubuwono I, raja Kesultanan Mataram pada 1709. Disebutkan bahwa bukit "Redi Borobudur" dikepung dan para pemberontak dikalahkan dan dihukum mati oleh raja. Dalam Babad Mataram (Sejarah Kerajaan Mataram), monumen ini dikaitkan dengan kesialan Pangeran Monconagoro, putra mahkota Kesultanan Yogyakarta
yang mengunjungi monumen ini pada 1757. Meskipun terdapat tabu yang melarang orang untuk mengunjungi monumen ini, "Sang Pangeran datang dan mengunjungi satria yang terpenjara di dalam kurungan (arca buddha yang terdapat di dalam stupa berterawang)". Setelah kembali ke keraton, sang Pangeran jatuh sakit dan meninggal dunia sehari kemudian. Dalam kepercayaan Jawa pada masa Mataram Islam,
reruntuhan bangunan percandian dianggap sebagai tempat bersemayamnya roh halus dan dianggap wingit (angker) sehingga dikaitkan dengan kesialan atau kemalangan yang mungkin menimpa siapa saja yang mengunjungi dan mengganggu situs ini. Meskipun secara ilmiah diduga, mungkin setelah situs ini tidak terurus dan ditutupi semak belukar, tempat ini pernah menjadi sarang wabah penyakit seperti demam berdarah atau malaria.
Setelah Perang Inggris-Belanda dalam memperebutkan pulau Jawa, Jawa di bawah pemerintahan Britania (Inggris) pada kurun 1811 hingga 1816. Thomas Stamford Raffles ditunjuk sebagai Gubernur Jenderal, dan ia memiliki minat istimewa terhadap sejarah Jawa. Ia mengumpulkan artefak-artefak antik kesenian Jawa kuno dan membuat catatan mengenai sejarah dan kebudayaan Jawa yang dikumpulkannya dari
perjumpaannya dengan rakyat setempat dalam perjalanannya keliling Jawa. Pada kunjungan inspeksinya di Semarang tahun 1814, ia dikabari mengenai adanya sebuah monumen besar jauh di dalam hutan dekat desa Bumisegoro. Karena berhalangan dan tugasnya sebagai Gubernur Jenderal, ia tidak dapat pergi sendiri untuk mencari bangunan itu dan mengutus H.C. Cornelius, seorang
insinyur Belanda, untuk menyelidiki keberadaan bangunan besar ini. Dalam dua bulan, Cornelius beserta 200 bawahannya menebang pepohonan dan semak belukar yang tumbuh di bukit Borobudur dan membersihkan lapisan tanah yang mengubur candi ini. Karena ancaman longsor, ia tidak dapat menggali dan membersihkan semua lorong. Ia melaporkan penemuannya kepada Raffles termasuk menyerahkan berbagai
gambar sketsa candi Borobudur. Meskipun penemuan ini hanya menyebutkan beberapa kalimat, Raffles dianggap berjasa atas penemuan kembali monumen ini, serta menarik perhatian dunia atas keberadaan monumen yang pernah hilang ini.
Hartmann, seorang pejabat pemerintah Hindia Belanda di Keresidenan Kedu meneruskan kerja Cornelius dan pada 1835 akhirnya seluruh bagian bangunan telah tergali dan terlihat. Minatnya terhadap Borobudur lebih bersifat pribadi daripada tugas kerjanya. Hartmann tidak menulis laporan atas kegiatannya; secara khusus, beredar kabar bahwa ia telah menemukan arca buddha besar di
stupa utama. Pada 1842, Hartmann menyelidiki stupa utama meskipun apa yang ia temukan tetap menjadi misteri karena bagian dalam stupa kosong.
Pemerintah Hindia Belanda menugaskan F.C. Wilsen, seorang insinyur pejabat Belanda bidang teknik, ia mempelajari monumen ini dan menggambar ratusan sketsa relief. J.F.G. Brumund juga ditunjuk untuk melakukan penelitian lebih terperinci atas monumen ini, yang dirampungkannya pada 1859. Pemerintah berencana menerbitkan artikel berdasarkan penelitian Brumund yang dilengkapi
sketsa-sketsa karya Wilsen, tetapi Brumund menolak untuk bekerja sama. Pemerintah Hindia Belanda kemudian menugaskan ilmuwan lain, C. Leemans, yang mengkompilasi monografi berdasarkan sumber dari Brumund dan Wilsen. Pada 1873, monograf pertama dan penelitian lebih detil atas Borobudur diterbitkan, dilanjutkan edisi terjemahannya dalam bahasa Perancis setahun kemudian. Foto pertama monumen ini diambil pada 1873 oleh ahli engrafi Belanda, Isidore van Kinsbergen.
Penghargaan atas situs ini tumbuh perlahan. Untuk waktu yang cukup lama Borobudur telah menjadi sumber cenderamata dan pendapatan bagi pencuri, penjarah candi, dan kolektor "pemburu artefak". Kepala arca Buddha adalah bagian yang paling banyak dicuri. Karena mencuri seluruh arca buddha terlalu berat dan besar, arca sengaja dijungkirkan dan dijatuhkan oleh pencuri agar
kepalanya terpenggal. Karena itulah kini di Borobudur banyak ditemukan arca Buddha tanpa kepala. Kepala Buddha Borobudur telah lama menjadi incaran kolektor benda antik dan museum-museum di seluruh dunia. Pada 1882, kepala inspektur artefak budaya menyarankan agar Borobudur dibongkar seluruhnya dan reliefnya dipindahkan ke museum akibat kondisi yang tidak stabil, ketidakpastian dan pencurian yang marak