हरिहर काका को महंत और अपने भाई एक ही श्रेणी के इसलिए लगने लगे थे, क्योंकि उनके भाई और ठाकुरबारी के महंत दोनों ही उनसे नहीं, बल्कि उनकी ज़मीन-जायदाद से प्यार करते थे।
ठाकुरबारी के महंत उनकी जमीन को हड़पना चाहते थे और उनके भाई भी उनका आदर-सम्मान इसलिए करते थे ताकि उन्हें अपने भाई की ज़मीन-जायदाद मिल सके।
जब ठाकुरबारी के महंत ने हरिहर काका का अपहरण कर लिया तब से हरिहर काका का ठाकुरबारी से विश्वास हट गया, उनका नज़रिया उनके प्रति बदल गया।
हरिहर काका महंत का अब तक बहुत सम्मान करते थे, परंतु उनके द्वारा किए गए इस प्रकार के कार्य से उन्हें उनसे घृणा हो गई।
हरिहर काका के भाइयों द्वारा भी एक दिन वही तरीका अपनाया गया जो ठाकुरबारी के महंत ने अपनाया।
इस प्रकार दोनों के द्वारा किए गए इस प्रकार के कार्यों से हरिहर काका को घृणा हो गई और उन्होंने दोनों को एक ही श्रेणी में रखा।