于文成闯关东来到黑龙江。在于斌6岁时，父亲于水源去世，7岁时母亲萧氏也去世。因此于斌是由祖父母抚养长大，祖父为中医，生活并不富裕，也和其他乡村少年一样为家中放猪，但有机会进私塾接受教育。弟弟为于犁伯，弟妹是知名文学家张秀亚。1912年（民国元年），于斌11岁时，他的祖父母迁居到海伦县若瑟屯（今海北镇），这件事对于斌一生的影响极大。因为若瑟屯正是黑龙江省最重要的一个天主教村庄，正如河北省的东闾村、山西省的六合村和察哈尔省的西湾子一样，这一类天主教村庄绝大部分家庭