终被削去官职。辞官后在归安城东莲花庄旁辟建「潜园」。园中有「四梅精舍」、「五石草堂」等16景。富收藏，筑「皕宋楼」、「十万卷楼」、「守先阁」三楼藏书，藏书达15万多卷，同治年间掇拾遗文成《唐文拾遗》72卷、《唐文续拾》16卷。常与同乡姚宗堪、戴望、施补华、俞劲叔、王竹侣、凌霞研习学问，有“苕上七才子”之称。陆心源精于金石之学，着述等身，光绪十二年（1886年）着有《金石录补》、光绪十八年（1892年）《穰梨馆过眼录》成书，另辑有《皕宋楼藏印》、《千甓亭古专图释》等书。光绪十九年（1893年），帝褒奖