Pada masa lampau, Gua Selarong telah digunakan oleh Pangeran Diponegoro sebagai pengkalan gerila dalam perjuangannya melawan penjajahan Belanda. Pangeran Diponegoro kemudian berpindah selepas rumahnya di Tegalrejo diserang dan dibakar hangus oleh Belanda.