姐妹，与昆山顾氏相关）。而孙氏实际是其父的嫡妻（或说继妻、妾室）。康熙二年（1663年），其父曹玺出任江宁织造（驻地江苏省江宁府，今南京市）负责织造御用和官用缎匹及采买御用物品，时年六岁的曹寅随同家人回到江宁。曹寅少年时入宫担任康熙的侍读，之后进入内务府任职于銮仪卫仪尉，负责管理皇家典礼相关事务。曹寅擅长骑射，曾多次随同康熙参加皇家围猎。康熙十七年，与好友纳兰性德参与组织博学宏辞科考试，广泛拉拢结交陈维崧、朱彝尊等新科进士。康熙二十三年其父曹玺病死于任上，赠工部尚书。曹寅为了纪念亡父，重金邀请一批文人画