Joseph Brodsky ble født av jødiske foreldre i Leningrad og vokste opp der. Han var enebarn av intellektuelle foreldre. Faren var fotograf, og under krigen gjorde han tjeneste ved fronten som fotograf. Etter krigen var han kaptein i marinen. Moren Marija Moissejevna Wolpert arbeidet under krigen som tolk, ved å oversette informasjoner fra krigsfanger. Etter krigen var hun ansatt som bokholder.