ആദ്യകാലത്ത്, ചുടുകട്ട കൊണ്ട് നിർമ്മിക്കപ്പെട്ടിരുന്ന ഈ കോട്ട, സികർവാർ ഗോത്രത്തിന്റെ അധീനതയിലായിരുന്നു. 1080-ആമാണ്ടിൽ ഗസ്നവികൾ ഇത് പിടിച്ചെടുത്തു എന്നതാണ് കോട്ടയെക്കുറിച്ചുള്ള ആദ്യചരിത്രപരാമർശം. ദില്ലി സുൽത്താനായിരുന്ന സിക്കന്ദർ ലോധി (1487–1517), ആഗ്രയിലേക്ക് തലസ്ഥാനം മാറ്റുകയും ഈ കോട്ടയിൽ നിന്നും ഭരണം നടത്തുകയും ചെയ്തിട്ടുണ്ട്. ഇക്കാലത്ത് ആഗ്രക്ക് ഒരു രണ്ടാംതലസ്ഥാനം എന്ന പദവി കൈവന്നു. 1517-ൽ സിക്കന്ദർ ലോധി മരണമടഞ്ഞതും ഈ കോട്ടയിൽ വച്ചായിരുന്നു. 1526-ലെ ഒന്നാം പാനിപ്പത്ത് യുദ്ധത്തിൽ തോൽപ്പിക്കപ്പെടുന്നവരെ സിക്കന്ദറിന്റെ പുത്രനായ ഇബ്രാഹിം ലോധി, കോട്ടയുടെ നിയന്ത്രണം നിലനിർത്തിയിരുന്നു. ഇക്കാലത്ത് നിരവധി കൊട്ടാരങ്ങളും, കുളങ്ങളും, പള്ളികളും അദ്ദേഹം ഈ കോട്ടക്കകത്ത് പണികഴിപ്പിച്ചിരുന്നു.