Pod koniec XVIII wieku Potoccy sprzedali Potok Złoty i majątek zaczął przechodzić z rąk do rąk, co spowodowało jego zubożenie. W 1875 roku jego właścicielem jednak został Włodzimierz Gniewosz (1838–1909), który położył duże zasługi w odbudowie miasteczka, oraz zbudował tzw. "Dwór Gniewoszów". Mieściła się w nim znakomita kolekcja malarstwa m.in. Fałata i Kossaka. Po Włodzimierzu Złoty Potok odziedziczył Aleksander Gniewosz (1873-1930), a po nim Aleksander jr Gniewosz (1920-2003) – uczestnik bitwy o Monte Cassino oraz Antoni Gniewosz (ur. 1922). W rodzinie Gniewoszów Złoty Potok pozostawał do 1939 roku. We wsi ustanowiono kaplicę grobową Gniewoszów