Jabarkan Utara              : Desa Tumiyang dari Gambarsari, Kebasen, Banyumas

Barat               : Sungai Serayu/Desa Cindaga

Tidak ada catatan pasti mengenai berdirinya Desa Gambarsari, namun Desa Gambarsari diperkirakan berdiri pada abad ke-19. Konon ceritanya pada zaman dahulu di wilayah pulau Kesultanan Kartosurodiningrat. Sultan Amangkurat Mas memiliki kehidupan masyarakat yang berjalan aman, tentram, damai, adil dan bijak. Kehidupan masyarakat yang seperti itu membuat penjajah Belanda tidak menyukainya sehingga penjajah Belanda berusaha memecahbelah kondisi tersebut dengan dibantu oleh Trunajaya. Pemberontakan tersebut  membuat Sultan Amangkurat Mas terdesak sehingga Sultan Amangkurat Mas melarikan diri ke arah barat dengan didampingi oleh beberapa punggawanya.

Sultan Amangkurat Mas dan para punggawanya kemudian singgah di daerah pegunungan yang masih lebat. Sekarang, pegunungan tersebut dikenal dengan Desa Kalisalak. Ketika sedang beristirahat, Sultan Amangkurat Mas mendengar kabar bahwa Belanda dan Trunajaya sudah mendekat. Sultan Amangkurat Mas segera bergegas meninggalkan wilayah tersebut dengan tergesa-gesa. Hal tersebut mengakibatkan beberapa barang dan peralatan perang Sultan Amangkurat Mas tertinggal di wilayah tersebut. Barang peninggalan itu kemudian dirawat oleh masyarakat Desa Kalisalak hingga sekarang. Tradisi merawat barang peninggalan Sultan Amangkurat Mas disebut dengan nama Jimatan Kalisalak.

Sultan Amangkurat Mas kembali melarikan diri ke arah barat laut dan singgah di tempat yang bernama Tanah Raja. Setelah beristirahat dengan cukup, Sultan Amangkurat Mas melanjutkan perjalanannya kembali dan turun ke lembah yang banyak pepohonan dan angker. Lokasi tersebut dikenal dengan Gunung Brojol. Sultan Amangkurat Mas memutuskan untuk beristirahat di bawah pohon ketos dan melepaskan baju Antrakusuma (baju kebesaran Kraton). Sembari beristirahat, Sultan Amangkurat Mas berpikir dan menggambar bagaimana caranya agar dapat melewati kedung/sungai yang lebar. Sultan Amangkurat Mas berkata “manakala ada rejaning jaman kedung ini saya namakan Kedung Gambar” dan sampai saat ini dikenal dengan sebutan Kedung Gambar/Gambarsari”.

Sultan Amangkurat Mas mendengar laporan bahwa pasukan Trunajaya sudah mendekat, kemudian Sultan Amangkurat Mas menyebrangi kedung/sungai tersebut tanpa mengkondisikan pasukannya. Sultan Amangkurat Mas berhasil menyebrangi kedung/sungai tersebut tanpa membawa baju dan peralatan perangnya. Hingga saat ini, baju dan peralatan perangnya dirawat oleh masyarakat Desa Gambarsari dengan cara melakukan penjamasan setiap tahun.