.祖父方大镇，曾任万历朝大理寺少卿，治《易经》、《礼记》，着述宏富。父亲方孔炤，万历四十四年（1616年）进士，崇祯朝官至湖广巡抚。方以智幼禀异慧，六岁知文史，博览群书。早年随父宦游，至四川嘉定、福建福宁、直隶、燕京等地，见名山大川，与西洋传教士毕方济与汤若望交往，并阅西洋之书。与冒襄、侯方域、陈贞慧，合称明季四公子。崇祯七年（1634）桐城民变，方孔炤留守，方以智随家人避居南京。崇祯十三年（1640年）进士，授翰林院检讨，李自成入北京后，受到了严刑拷打。不久李自成兵败山海关，方以智趁乱逃往南方。