州刺史谢晦时自杀。师伯年幼丧父，家亦贫寒，但他涉猎书传，亦对声乐颇为熟识。后雍州刺史刘道产以师伯为其辅国行参军。臧质出任徐兖二州刺史时，引师伯为其主簿。元嘉二十二年（445年），衡阳王刘义季任徐州刺史，臧质亦向义季推荐师伯，义季亦以师伯为征西行参军。后刘义宾及刘骏先后任徐州刺史，皆以师伯为他们行参军。任刘骏安北行参军时，安北谘议参军王彧喜欢师伯的诙谐机敏，就将他推荐给刘骏，终转任徐州主簿，并因其善于附会，获刘骏所重用。元嘉二十八年（451年），刘骏转任南兖州刺史，师伯随其迁转。但当同年刘骏转任南中郎将、江州