लेकिन जिस काली बाड़ी को देवी श्यामला का मंदिर कहा जा रहा है, उसे कोई श्यामला माता का मंदिर नहीं कहता। किसी आधिकारिक पत्र में उसे श्यामला मंदिर कभी कहा नहीं गया और न ही स्थानीय लोग उसे श्यामला माता का मंदिर करते हैं। सभी काली बाड़ी ही कहते हैं। इस मंदिर के बारे में रोचक बात यह है कि इसका निर्माण अंग्रेजों ने ही करवाया था। इतिहासकारों का स्पष्ट मत है कि काली बाड़ी मंदिर को 19वीं सदी की शुरुआत में स्थापित किया गया था। इस संबंध में शिमला काली बाड़ी की आधिकारिक वेबसाइट में जानकारी दी गई है। इसमें कहा गया है कि मौजूद मंदिर को 1845 में अंग्रेजों ने बनाया था। लेकिन मूल मंदिर बंगाली भक्तों ने बनाया था।