अपने भाइयों और मंहत में हरिहर काका को कोई फर्क मालूम नहीं होता था। दोनों ही अपना उल्लू सीधा करने में लगे थे। उनके भाइयों की पत्नियों ने कुछ समय तक तो उनका ध्यान रखा पर बाद में उन्हें बासी और बची-कुची रोटियाँ मिली। उनको सुबह नाश्ता भी नसीब नहीं था। जब वो बीमार होते तो उन्हें बीमारी में पूछने वाला भी कोई नहीं था। जो थोड़ा-बहुत उनके लिए किया जाता था, वो सिर्फ उनकी पास की जमीन के कारण था। ठीक इसी प्रकार महंत ने बड़े प्यार और आदर-सत्कार से एक दिन खातिरदारी की, और जब उन्होंने जमीन को ठाकुर बाड़ी के नाम करने से मना कर दिया तो उन्हें बहुत तकलीफ और यातनाएँ दी गई।उनका अपहरण करवा कर , मुँह बांधकर उसमें कपडा ठूंस कर किसी कोठरी में बंद किया गया और जबरदस्ती अंगूठे का निशान भी ले लिया गया। वे दोनों ही सिर्फ जमीन जायदाद के लिए हरिहर काका से अपना व्यवहार रखा करते थे। इसीलिए उन्हें दोनों भाई एक ही श्रेणी में लगे।