काले खान के नाम से इस क्षेत्र को ‘काले वाला’ इलाका कहा जाने लगा। कालांतर में यह नाम काला आम हो गया क्योंकि इस इलाके में आम के कई पेड़ थे। यानी ‘आम के पेड़ों वाला काले वाला इलाका’ था यह। इतना लंबा नाम तो कोई ले नहीं सकता था, इसलिए इसे काला अंब यानी काला आम ही कहा जाने लगा।