七岁时发表《老子生后孔子百余年之说质疑》，指出梁启超的考证错误，梁启超称之为“天才”。毕业于清华大学，1929年清华大学毕业后赴美，在斯坦福大学学哲学。历任清华大学、浙江大学、西南联合大学教授。1937年，受中研院史语所所长傅斯年之托，撰成《中国史纲》。钱穆评价张荫麟：“天才英发，年力方富，又博通中西文哲诸科，学既博洽，而复关怀时事，不甘仅仅为记注考订而已。”，陈寅恪誉他为“清华近年学生品学俱佳者中之第一人”。1937年卢沟桥事变发生后，张荫麟只身南下，应浙江大学所聘，在西天目山禅源寺为新生讲中国通史课