यह मूलतः एक ईंटों का किला था, जो  सिकरवार वंश के राजपूतों के पास था। इसका प्रथम विवरण 1080 ई० में आता है, जब महमूद गजनवी की सेना ने इस पर कब्ज़ा किया था। सिकंदर लोदी (1487-1517), दिल्ली सल्तनत का प्रथम सुल्तान था जिसने आगरा की यात्रा की तथा इसने इस किले की मरम्म्त १५०४ ई० में करवायी व इस किले में रहा था। सिकंदर लोदी ने इसे १५०६ ई० में राजधानी बनाया और यहीं से देश पर शासन किया। उसकी मृत्यु भी इसी किले में 1517 में हुई थी। बाद में उसके पुत्र इब्राहिम लोदी ने गद्दी नौ वर्षों तक संभाली, तब तक, जब वो पानीपत के प्रथम युद्ध (1526) में मारा नहीं गया। उसने अपने काल में यहां कई स्थान, मस्जिदें व कुएं बनवाये।