Pudozj ble første gang nevnt i 1382 som bosetningen Pudoga, som senere ble kalt Pudozjskij Pogost. Pudozj fikk bystatus i 1785.