生于一个官僚家庭。其父张秉彝曾经在中华民国初年两度出任开鲁县知事（相当于县长）。张念祖是张秉彝三个儿子中的老二，人称“张二少爷”。1916年，张念祖随父到开鲁县。后来他毕业于开鲁县第一高等小学第一期。毕业后，他到北京、天津等地学习。1920年，他入天津南开大学附设国高班复习英语，后考入南开大学。从南开大学毕业以后，他曾任平泉县税务局局长。1931年九一八事变后，张念祖携妻子（奉天人，即今沈阳人）回到开鲁县。1933年3月，日军占领开鲁县，张念祖举家迁往北平。日军占领下任开鲁县县长的姜明远和张念祖是朋友。