આ મૂલતઃ એક ઈંટોંનો કિલ્લો હતો, જે ચૌહાણ વંશના રાજપૂતો પાસે હતો. આનું પ્રથમ વિવરણ ૧0૮0 ઈ.સ. માં આવે છે, જ્યારે મહમૂદ ગજનવીની સેનાએ આની પર કબ્જો કર્યો હતો. સિકંદર લોધી (૧૪૮૭-૧૫૧૭), દિલ્લી સલ્તનતનો પ્રથમ સુલ્તાન હતો, જેણે આગ્રાની યાત્રા કરી , અને આ કિલ્લા માં રહ્યો હતો. તેણે દેશ પર અહીં થી શાસન કર્યું, અને આગ્રા ને દેશની દ્વિતીય રાજધાની બનાવી. તેની મૃત્યુ પણ , આ જ કિલ્લામાં [૧૫૭૧]] માં થઈ હતી, જેના પછી, તેના પુત્ર ઇબ્રાહિમ લોધી એ ગાદી ૯ વર્ષ સુધી સંભાળી જ્યારે તે પાણીપતના પ્રથમ યુદ્ધ (૧૫૨૬)માં મરણ ન પામ્યો. તેણે પોતાના કાળમાં, અહીં ઘણાં સ્થાન, મસ્જિદો અને કુવા બનાવડાવ્યાં. પાણીપત પછી, મોગલોએ આ કિલ્લા પર પણ કબ્જો કરી લીધો, સાથે જ આની અગાધ સમ્પત્તિ પર પણ . આ સમ્પત્તિમાં જ એક હીરો પણ હતો, જે કે પાછળથી કોહિનૂર હીરાના નામથી પ્રસિદ્ધ થયો. ત્યારે આ કિલ્લામાં ઇબ્રાહિમના સ્થાન પર બાબર આવ્યો. તેણે અહીં એક વાવડી બનાવડાવી. સન ૧૫૩0 માં, અહીં હુમાયું નો રાજ્યભિષેક પણ થયો. હુમાયું આ જ વર્ષે બિલગ્રામમાં શેરશાહ સૂરીથી હારી ગયો, અને કિલ્લા પર તેનો કબ્જો થઈ ગયો. આ કિલ્લા પર અફગાનોનો કબ્જો પાંચ વર્ષોં સુધી રહ્યો, જેમને અન્તતઃ મોગલોંએ ૧૫૫૬ માં પાણીપતના દ્વિતીય યુદ્ધમાં હરાવી દીધા. આની કેન્દ્રીય સ્થિતિ ને જોતાં , અકબરે આને પોતાની રાજધાની બનાવવાનો નિશ્ચિય કર્યો, અને સન ૧૫૫૮માં અહીં આવ્યો. તેના ઇતિહાસકાર અબુલ ફજલે લખું છે, કે આ કિલ્લો એક ઈંટોંનો કિલ્લો હતો, જેનું નામ પછીલગઢ઼ હતું. આ ત્યારે ખસ્તા(ખરાબ) હાલત માં હતો, અને અકબરે આને બીજીવાર બનાવવો પડ્યો, જોકે તેણે લાલ બલુઆ પત્થરથી નિર્મણ કરાવ્યું. આનો પાયો મોટા વાસ્તુકારોંએ રાખી. આને અંદરથી ઈંટોંથી બનાવડાવ્યો અને બાહરી આવરણ હેતુ લાલ બલુઆ પત્થર લગાડવામાં આવ્યા. આના નિર્માણમાં ૧૪ૢ૪૪ૢ૦૦૦ લાખ ચવાલીસ હજાર કારીગર અને મજદૂરોએ આઠ વર્ષોં સુધી મેહનત કરી , ત્યારે સન ૧૫૭૩ માં આ બનીને તૈયાર થયો. અકબરના પૌત્ર શાહજહાંએ આ સ્થળને વર્તમાન રૂપમાં પહોંચાડ્યો. આ પણ મિથક છે,કે શાહજહાંએ જ્યારે પોતાની પ્રિય પત્નીના માટે તાજમહલ બનાવડાવ્યો, તે પ્રયાસ કરતો હતો,કે આ ઇમારતેં શ્વેત આરસની બને, જેમાં સોને અને મોતી રત્ન જડ઼ેલા કોય. તેણે કિલ્લાના નિર્માણના સમયે, ઘણી પુરાણી ઇમારતો અને ભવનોને તોડાવી પણ દીધાં, જેથી કે કિલ્લામાં તેની બનાવડાવેલી ઇમારનતો હોય. પોતાના જીવનના અંતિમ દિવસોમાં , શાહજહાંને તેના પુત્ર ઔરંગજ઼ેબે આ જ કિલ્લામાં બંદી બનાવી દીધો હતો, એક એવી સજા, જે કિલ્લાના મહલોંની વિલાસિતાને જોતા, એટલી કડ઼ી ન હતી. એમ પણ કહેવામાં આવે છે,કે શાહજહાંની મૃત્યુ કિલ્લાના મુસમ્મન બુર્જ માં, તાજમહલ ને જોતા જોતા થઈ હતી. આ બુર્જના સંગમર્મરના ઝરોખાથી તાજમહલનો ખૂબ જ સુંદર દૃશ્ય દેખાય છે. આ કિલ્લો ૧૮૫૭ના પ્રથમ ભારતીય સ્વતંત્રતા સંગ્રામના સમયે યુદ્ધ સ્થળ પણ બન્યો. જેના પછી ભારતમાં બ્રિટિશ ઈસ્ટ ઇંડિયા કંપની નું રાજ્ય સમાપ્ત થયું, અને લગભગ એક શતાબ્દી સુધી બ્રિટેનના સીધું શાસન ચાલ્યું. જેના પછી સીધી સ્વતંત્રતા જ મળી.