十一岁时祖父去世，家计益困，其父远赴石门教书，将其託付外祖父陈正行。十五岁时，“通《易》《诗》《书》并《左氏春秋》”。同时，对朱熹《通鑑纲目》有浓厚的兴趣。康熙三年，随韩孔当学习。二十岁时，与学者毛奇龄交游，叹服毛的学识。年少时从学于刘宗周。推崇王学（阳明学）。成为县学生，但不应科举。曾从学于黄宗羲、董玚、王正中等。通刺击的武艺，通兵法。清将施琅出征台湾之前，曾偶遇邵廷采于西湖。邵廷采向施琅纵谈东南沿海兵事，施琅大为惊讶。中年时曾游历西北边关，走过潼关。曾在姚江书院讲学。晚年时，致力着述。曾经向黄宗羲了