1955年反胡风运动时，徐北文受牵连被错认为“胡风分子”。6月9日，他被软禁到济南市升平街新民旅馆，隔离审查长达八个月。问题澄清后，他返回学校继续教课。1958年反右运动时，徐北文被错划为右派，下放到林场苗圃劳动。在劳动之余他仍挤出时间学习，自修植物学、园艺学，结合实践研读农业科技书籍。文化大革命期间，他被打成“牛鬼蛇神”、“黑权威”，蹲牛棚，遭批斗，饱经磨难。曾被改派到济南第五十中学教农业课、语文课，但他很快就掌握了剪枝嫁接等果树栽培技术，并代济南市教育局编写了农业课的补充教材《果树管理》。