祁彪佳于万历三十年十一月己卯寅时生于山阴梅墅。自幼聪敏，六岁能诵帝王名。九岁因其父安排聘商氏（商景兰，兵部尚书商周祚第三女）。万历四十六年赴童子试，无出其右者，遂为第一。四十七年，彪佳年十八，会试下第不中。跟随父亲赴任沂州，游览琅琊名胜，归家后继续读书。泰昌元年，与商氏成婚。明天启二年（1622年）进士，时年二十一岁，次年任福建兴化府推官，旁人或觉得彪佳年轻，而莆田有时缙绅势力强大的地方，恐怕不能胜任，结果其在任时非常关心民间疾苦，尽力去除底层穷困百姓的负担，名声颇佳。崇祯四年（1631年）升任右佥都御