Kesultanan Kasepuhan

Setelah pertempuran dengan Sultan Sepuh V Sjafiudin yang telah menghancurkan taman sari, Belanda kemudian memperhatikan aktifitas-aktifitas yang ada pada bangunan tersebut. Pada tahun 1852, Pangeran Adiwijaya yang kelak menjadi "wali" bagi Pangeran Raja Satria (putera tertua dari Sultan Sepuh IX Sultan Radja Sulaeman), membangun kembali dan memperkuat taman sari Gua Sunyaragi, dia mempekerjakan seorang aristek beretnis tionghoa, namun kemudian arsitek tersebut ditangkap dan dipaksa mengatakan seluk-beluk taman sari Gua Sunyaragi kepada Belanda untuk kemudian dibunuh. Terbongkarnya aktifitas di taman sari Gua Sunyaragi membuat Belanda memerintahkan kepada Pangeran Adiwijaya untuk menghancurkan taman sari Gua Sunyaragi, namun perintah tersebut tidak pernah dilaksanakan. Pangeran Adiwijaya kemudian memerintahkan kepada para bawahan dan para prajurit untuk bersiap menghadapi segala kemungkinan yang akan terjadi, akhirnya keputusan diambil untuk mengungsikan seluruh persenjataan dan para prajurit keluar dari Taman Sari Gua Sunyaragi, sehingga penyerangan Belanda yang terjadi kemudian tidak mendapatkan apa-apa.