王世襄出生官宦世家，其高祖官至工部尚书，伯祖为光绪年间的状元。其父早年留学法国，任北洋政府国务院秘书长；其母金章出身名门，是着名的鱼藻画家。王世襄小学、中学在北京美国学校读书，后为燕京大学文学学士、硕士（1941年）。1943年至1945年间任中国营造学社助理研究员，清理战时文物损失委员会平津区助理代表，1947年任故宫博物院文物馆科长、1948年获美国洛克菲勒基金奖金，赴美国和加拿大考察博物馆。1949年任故宫博物院陈列部主任，1953年任中国音乐研究所副研究员。1957年在反右运动中因对“三反