未能受到完整的教育，但他仍重视传统文化教育，尊敬孔儒。他同时亦重视现代化教育，当然主要是为军事服务的，但客观上也起到了培养人材的作用。1922年（民国十一年）筹建东北大学；1923年（民国十二年）4月，东北大学成立。这所大学在当时师资水平较高，像章士钊、黄侃、梁思成等着名学者曾教书于此，东北大学为当时中国规模最大，经费最多的大学，其每年经费相当于排名第二的北京大学的3倍多。在民间流传着很多关于张的故事，其智勇、气节得到颇多体现，并流传下「张作霖为日本人作字画，不写手『墨』，为不把『土』送给日本，改写为手