出生于上海，祖籍浙江仙居。从小跟随书法家李瑞清之侄李健学习，10岁时自办画展开始崭露头角，毕业于上海交通大学，1948年前往美国留学，1954年获得普林斯顿大学硕士学位，留校任教同时继续攻读博士，1958年博士毕业于普林斯顿大学。1959年和美国汉学家牟复礼共同创建美国首个中国艺术和考古方向博士项目。1970年至1973年担任普林斯顿大学艺术和考古系主任。他还担任普林斯顿大学艺术博物馆策展人和大都会艺术博物馆亚洲艺术首席顾问，1999年在服务45年后从普林斯顿大学退休。2004年至2007年在清华大学任教，