清代同治4年（1865年）左右兴建。新田文氏即宋末烈士文天祥之堂弟文天瑞的后裔，其21世祖文颂銮，曾于光绪12年（1886年）丙戌科高中进士，朝廷钦点任「营用守府」之职，并因个人品行素着而获清帝御赐「大夫」名衔。府内屋檐下有两块以满汉二文写成的牌匾，更是光绪帝于1875年御赐表扬文颂銮双亲的诏书木刻。大夫第于1987年定为法定古蹟，经政府专业的维修与复原，修葺工程由香港赛马会资助，于1988年对外开放。政府与地主协议，把大夫第后面原有的荔枝园改建成住宅，作为保护大夫第的协议条件之一，建成大夫第花园第1期