এরপর বিভিন্ন সময়ে মারাঠা ও তাদের শত্রুরা আগ্রা দুর্গের নিয়ন্ত্রণ গ্রহণ করে। ১৭৬১ সালে আহমেদ শাহ আবদালি পানিপথের তৃতীয় যুদ্ধে মারাঠাদের পরাজিত করলে পরবর্তী এক দশক মারাঠারা এই দুর্গ দখলের কোন চেষ্টা করতে পারেনি।পরে এই দুর্গ ব্রিটিশ রা দখল করে নেয়।