শৈশবেই পিতামাতাকে হারিয়ে অনাথ হয়ে যান এবং দারিদ্র্য কখনই তাঁকে ছেড়ে যায় নি বলে হরিনাথ মজুমদার কাঙাল হরিনাথ নামে পরিচিত ছিলেন।