हरिहर काका को जो लोग ज़बरदस्ती उठाकर ले गए थे, वे महंत के आदमी थे। उन्होंने कई बार हरिहर काका को ठाकुरबाड़ी के नाम पर अपनी जमीन जायदाद उनके नाम करने को कहा लेकिन काका नहीं मान रहे थे। अंत में उसने काका का अपहरण करवा लिया। उनके हाथ पैर अपने चेले और साधु संतों की सहायता से बंधवा थे। वो चीख चिल्ला न सके इसलिए उनके मुँह में कपड़ा भी ठूस दिया गया। ज़बरदस्ती उनके अँगूठे के निशान लेकर उन्हें एक कोठरी में बंद कर दिया। जब वहां पुलिस पहुँची तो खुद वो गुप्त दरवाज़े से निकल कर भाग गये।