कहा जाता है कि इस प्राचीन और मजबूत किले का निर्माण त्रेता युग में अयोध्या के सूर्यवंशी राजा त्रिशंकु के पौत्र व राजा हरिश्चंद्र के पुत्र रोहिताश्व ने कराया था। बहुत दिनों तक यह हिन्दू राजाओं,खासकर कुशवाहों के अधिकार में रहा, लेकिन 16वीं सदी में मुसलमानों के अधिकार में चला गया और अनेक वर्षों तक उनके अधीन रहा। इतिहासकारों का मत है कि किले की चारदीवारी का निर्माण शेरशाह ने सुरक्षा के दृष्टिकोण से कराया था, ताकि कोई किले पर हमला न कर सके। बताया जाता है कि स्वतंत्रता संग्राम की पहली लड़ाई (1857) के समय अमर सिंह ने यहीं से अंग्रेजों के खिलाफ विद्रोह का संचालन किया था।