I 1841 hadde byen vokst til en befolkning på 770 og klokketårnet ble bygget for bruk som fengsel og som kamrene for burghen mellom 1839 og 1847. En offentlig sal ble bygget i 1879 og dette ble et «picture house» (kino) på 1930-tallet, før det ble stengt på 1970-tallet (bygningen eksisterer fortsatt som restaurant). I 1890 ble Stephens sykehus grunnlagt med midler fra Lord Stephen og i 1902 ble det bygget en ny offentlig skole for byen. Byen fortsatte å vokse inn på 1800-tallet, og nådde 1823 mennesker i 1901. Men i 1952 hadde befolkningen i Dufftown sunket til 1460. Beregninger for 2020 har anslått at befolkningen utgjør 1590 innbyggere.