ফজলি আম আগে ‘ফকিরভোগ’ বলে পরিচিত ছিল। কথিত আছে, ফজলি বিবি নামে এক বৃদ্ধার বাড়ি থেকে প্রথম এই জাতটি সংগৃহীত হয়েছিল। তিনি বাস করতেন বাংলার স্বাধীন সুলতানদের ধ্বংসপ্রাপ্ত গৌড়ের একটি প্রাচীন কুঠিতে। তার বাড়ির আঙিনায় ছিল একটি পুরনো আমগাছ। তবে এটি কোন্ জাতের, সে বিষয়ে কোনো ধারণা ছিল না তার। ফজলি বিবি গাছটির খুব যতœ নিতেন। গাছটিতে প্রচুর আম ধরত। আমগুলো যেমন আকারে বড়, তেমনি সুস্বাদু। সেখানকার নির্জনবাসী ফকির-সন্ন্যাসীদের তিনি এই আম দিয়ে আপ্যায়ন করতেন। সে জন্য ফজলি বিবি এই আমের নাম দিয়েছিলেন ‘ফকিরভোগ’।