पहिल्याप्रथम ते श्रीशैल येथे गेले; तेथे त्यांना कळले की आध्यात्मिक क्षेत्रातील एक थोर अधिकारी तसेच कट्टे मठाचे प्रमु़ख असलेले सत्पुरुष श्री गजदंडस्वामी हे गुडगंटी या गावी राहतात. बाळसिद्ध गुडगंटी येथे गेला आणि श्रीगजदंडस्वामींना भेटला; त्यांनी सिद्धाची परीक्षा घेतल्यानंतर त्याला आपला शिष्य म्हणून स्वीकारला. सदगुरूंच्या आश्रमामध्ये सदगुरूंचीच नव्हे तर त्यांच्या शिष्यांचीदेखील कामे ते करत.सदगुरूंच्या आश्रमाची झाडलोट, नदीवर जाऊन त्यांचे व शिष्यांचे कपडे धुणे, स्वयंपाक करणे, घोड्यांच्या तबेल्यातील लीद स्वतःच्या हाताने काढून तबेला स्व्च्छ ठेवणे, भांडी घासणे, स्वयंपाकाकरिता लाकडे आणणे इत्यादि सर्व कामे ते आनंदाने करीत; याव्यतिरिक्त उरलेला सर्व वेळ ते शास्त्रांचा सखोल अभ्यास तसेच चिंतन व मनन करण्यात घालवीत. ते गुरुगृहात ते कधीही जेवण घेत नसत; दररोज पाच घरी भिक्षा मागून घेऊन त्यावर ते स्वतःचा उदरनिर्वाह चालवीत. ते कधीही गुरूच्या नजरेला नजर देऊन बोलत नसत. गुरुगृही असतानाच सुब्बय्यशास्त्री नावाच्या एका ब्राह्मणाने गजदंडस्वामींच्या सभेत येऊन मुद्दाम ""'उपनिषद' या शब्दाची कोणी खरोखर व्याख्या करू शकतो काय?"" असा प्रश्न उद्दामपणे विचारला; त्यावेळी गुरूंची आज्ञा घेऊन सिद्धांनी अतिशय समर्पपपणे 'उपनिषद' या शब्दांची व्याख्या सांगितली आणि सुब्बय्यशास्त्रींचा अहंकार नाहीसा केला.