১৮৮৬ সালে গুরুর মৃত্যুর পর কালীপ্রসাদ বরাহনগর মঠের একটি ঘরে নিজেকে আবদ্ধ করে ধ্যানে ডুবে থাকতে শুরু করেছিলেন। এই জন্য তাঁর গুরুভ্রাতারা তাঁকে ""কালী তপস্বী"" নাম দিয়েছিলেন। রামকৃষ্ণের মৃত্যুর পর তিনি স্বামী বিবেকানন্দ ও অন্যান্য গুরুভ্রাতাদের সঙ্গে সন্ন্যাস গ্রহণ করেছিলেন। সন্ন্যাস জীবনে তাঁর নাম হয়েছিল ""স্বামী অভেদানন্দ""।