અંગ્રેજોનું શાસન હોવા છતાં સ્મારકનું કામ શરૂ થયું. પણ કહેવાય છે કે એક વાર અંગ્રેજ રેસિડેન્ટ ત્યાંથી નીકળ્યો. એની નજર આ સ્મારક તરફ ગઈ. એણે સ્મારકનું બાંધકામ થવા દીધું, પણ રાણી લક્ષ્મીબાઈની મૂર્તિ મૂકવા દીધી નહીં. આથી ગર્દેસાહેબે ત્યાં પવિત્ર એવો તુલસીનો છોડ રોપ્યો.