返台后，就读台北市建国中学，在左派校长陈文彬和国文教师罗铁鹰的影响下，接受了左派思想，并培养了文学的兴趣。张光直在白色恐怖四六事件中被捕，被关押一年多，通过父亲的党政关系才得释放。张光直从国立台湾大学考古人类学系毕业后留学美国，于哈佛大学师从戈登·蓝道夫·威利，取得人类学博士学位。取得哈佛大学博士学位后张光直于耶鲁大学人类学系任教长达16年，1977年回到母校哈佛人类学系任教，曾任该系系主任一职。他在1994年应李远哲邀请回台湾，担任中央研究院副院长，1996年健康因素辞职，到美国休养，2001年因