由于孝祥伯父张邵因不肯屈膝金朝而被拘禁在彼，而父张祁仅任小官，张家在鄞县又无田产，因此较之于陆游，朱熹，张元干等出身书香门第，家境富足的同时代文人境况不同，张孝祥是在贫苦中成长，如王质在《于湖集序》中所云 “故宋中书舍人奋起荒凉寂寞之乡”