Իոսիֆ Բրոդսկին ծնվել է 1940 թվականի մայիսի 24-ին Լենինգրադում ապրող հրեայի ընտանիքում։ Հայրը, Ալեքսանդր Իվանովիչ Բրոդսկին (1903-1984), ռազմական մամուլի լուսանկարիչ էր, պատերազմից վերադարձել է 1948 թվականին և աշխատանքի ընդունվել Ռազմածովային թանգարանի ֆոտոլաբորատորիայում։ 1950 թվականին զորացրվել է, դրանից հետո աշխատել է լուսանկարիչ և լրագրող լենինգրադյան որոշ թերթերում։ Մայրը, Մարիա Վոլպերտը (1905-1983 ), հաշվապահ էր։ Իոսիֆի վաղ մանկությունը անցել է պատերազմի, բլոկադայի տարիներին, առանց հոր, հետպատերազմյան աղքատության մեջ։ 1942 թվականին բլոկադայից հետո մայրը որդու հետ տարհանվում է Չերեպովեց, Լենինգրադ են վերադարձել 1944 թվականին։ 1947 թվականին Իոսիֆը հաճախում է Կիրոչնոյ փողոցի № 203 դպրոցը, 1950-ին տեղափոխվում է Մոխովոյ փողոցի թիվ 196 դպրոցը, 1953 թվականին նա գնում է համար 181 դպրոցի 7-րդ դասարան։ 1954 թվականին հայտ է ներկայացնում Բալթյան երկրորդ դպրոցին (ծովագնացության), բայց չի ընդունվում։ Տեղափոխվում է համար 276 դպրոցը, որտեղ շարունակում է ուսումը։ 1955 թվականին ընտանիքը ստանում է «կես բնակարան» Մուրուզիի տանը։