કોલકાતાની ઉત્તરે દક્ષિણેશ્વર ખાતે રાણી રાસમણિએ બંધાવેલા વિશાળ કાલીમંદિરના પૂજારી તરીકે મોટાભાઈ રામકુમારની પસંદગી થતાં ગદાધર પણ તેમની સાથે ગયા હતા.