中放猪，但有机会进私塾接受教育。弟弟为于犁伯，弟妹是知名文学家张秀亚。1912年（民国元年），于斌11岁时，他的祖父母迁居到海伦县若瑟屯（今海北镇），这件事对于斌一生的影响极大。因为若瑟屯正是黑龙江省最重要的一个天主教村庄，正如河北省的东闾村、山西省的六合村和察哈尔省的西湾子一样，这一类天主教村庄绝大部分家庭都是天主教徒，宗教气氛浓郁，是各教区内年轻神父和修女的主要来源地，也是天主教会抱以厚望的发展基地。地处塞外的若瑟屯在这一类天主教村庄中资历最浅，在1902年才由法国巴黎外方传教会