以智幼禀异慧，六岁知文史，博览群书。早年随父宦游，至四川嘉定、福建福宁、直隶、燕京等地，见名山大川，与西洋传教士毕方济与汤若望交往，并阅西洋之书。与冒襄、侯方域、陈贞慧，合称明季四公子。崇祯七年（1634）桐城民变，方孔炤留守，方以智随家人避居南京。崇祯十三年（1640年）进士，授翰林院检讨，李自成入北京后，受到了严刑拷打。不久李自成兵败山海关，方以智趁乱逃往南方。入南明永历朝，除经筵讲官，因伪书案被免职。自行参加抗清活动，兵败后出家为僧，改名换姓，人称“药地和尚”。因“粤案”被清廷押解北上，赴南昌