班伯是班况的儿子，班彪的伯父。少年时跟随师丹学习《诗经》。王凤推荐他为中常侍，当时郑宽中、张禹早晚入宫于金华殿说《尚书》、《论语》，诏令班伯受学。既通大义，又于许商讲异同，转任奉车都尉。与外戚许、王子弟相游，混迹于纨绔之间。他的志节忼慨，多次求使匈奴。汉成帝河平年间，持节于塞下迎单于。拜定襄郡太守，精选掾吏，收捕盗贼，郡得以安定。征召入朝为侍中光禄大夫。汉成帝常与张放、淳于长出微行，他多次曾引《诗》、《书》讽谏皇帝。后迁水衡都尉。后病卒，时年三十八岁。