W I poł. XV wieku rozpoczęto tu budowę zamku z inicjatywy Dobiesława z Oleśnicy i Sienna, uczestnika bitwy pod Grunwaldem i dowódcy oblężenia Malborka. (O zamku w Rymanowie wspomina ks. Szymon Starowolski