વૃદ્ધાવસ્થામાં યશ અને કીર્ત્તિની મારે તેમને ખૂબ કષ્ટ આપ્યું. તેજ હાલતમાં તેમણે બનારસ છોડ્યું અને આત્મનિરીક્ષણ તથા આત્મપરીક્ષણ કરવા માટે દેશના વિભિન્ન ભાગો ની યાત્રાઓ કરી, આ ક્રમમાં તેઓ કાલિંજર જિલ્લાના પિથૌરાબાદ શહેરમાં પહોંચ્યા. ત્યાં રામકૃષ્ણનું નાનકડું મન્દિર હતું. ત્યાંના સંત ભગવાન ગોસ્વામીના જિજ્ઞાસુ સાધક હતાં પરંતુ તેમના તર્કોંનું હજી સુધી પૂરી રીતે સમાધાન થયું ન હતું. સંત કબીર સાથે તેમનો વિચાર-વિનિમય થયો. કબીરની એક સાખીએ તેમના મન પર ઊંડી અસર કરી.