生于官宦世家，祖父张耆官拜侍郎。张叔夜少时就喜谈军事。长大后以祖荫入仕任兰州录事参军。兰州地处当时宋朝边境，依恃黄河天堑为固，每年冬天黄河结冰时，都要处于戒备状态，以防羌人入侵。张叔夜认为长此以往，不是办法，于是亲自过河勘察，发现有一个叫天都的地方，是五路之间的要冲，羌人每次入侵，都先要在此地集结。张叔夜根据附近地势，夺得天都，在天都建了一座叫做西安州的可戍守的城池，从此兰州再也没有羌患。此后张叔夜担任过襄城、陈留知县，以及舒、海、泰三州知州。宋徽宗大观年间中为库部员外郎、开封府少尹。不久后又赐进士出身