明南京右副都御史吴讷十一世孙。少时家境没落，跟王鑑、王时敏学画，吸取王蒙和吴镇之长，以卖画为生，尤精于山水，初宗黄公望、王蒙，与恽寿平、王时敏等称“清初六大家”，或称“四王吴恽”。又善鼓琴，得陈岷真传。早年信佛，学儒于陈瑚，中年以后改信天主教，加入耶稣会（约康熙二十一年），取拉丁文名Simon Xavierius a Cunha（西满·沙勿略·雅古讷）。康熙二十年（1681年）随比利时耶稣会传教士柏应理到澳门，学道于澳门三巴静院，研读拉丁文，康熙二十七年（1688年）与北京的耶稣会士刘蕴德、江西的耶稣会