周延儒排斥，家居八年。崇祯八年五月，到杭州养病，与母亲王氏游览西湖。病痊愈后回到绍兴。十月，在寓山构筑别墅，准备隐居终身。彪佳对自己家的仆人管理很严，禁止他们与外人发生争吵。崇祯九年四月，筑寓山草堂竣工，彪佳与友人闭关论性理之学。同年，由于彪佳常苦于疟疾之症，为治地方疟疾，于是捐资与友人王金如建立了医药局，在疫病期间保全了民众的生命，此外彪佳还建立了乡贤祠。剡县饥荒时，祁彪佳与王金如合力赈饥，因想到死在野外的人没人收尸，彪佳专门请了一位法号“本原”埋葬野骨的僧人，支付其报酬并让其掩埋三吴一带遗骨。又出资