1963 թվականին Բրոդսկուն կալանավորեցին պորտաբուծության մեղադրանքով։ Դատը կայացավ 1964 թվականի փետրվարի 18-ին, Լենինգրադում, որի արդյունքում Բրոդսկին դատապարտվեց 5 տարի վարչական վտարման և արտաքսվեց Արխանգելսկի մարզ։ Սակայն ի պաշտպանություն Բրոդսկու, 1965 թվականի փետրվարին, բազմաթիվ հայրենական և արտասահմանյան բանաստեղծների ելույթներից հետո, նրան թույլատրեցին վերադառնալ Լենինգրադ։ 1972 թվականին Բրոդսկին վտարանդվել է ԱՄՆ և սկզբնական ժամանակներում ապրել Անն-Արբոր քաղաքում, որտեղ գտնվում էր «Արդիս» հրատարակչությունը, որը բազմիցս հրատարակել է ռուս վտարանդի գրողներին։ 1980 թվականին ստացել է ԱՄՆ քաղաքացիություն և տեղափոխվել Նյու-Յորք։ Մասաչուսեթս նահանգի Mount Holyoke քոլեջում դասավանդել է ռուս և անգլիական պոեզիա։ Դասախոսությունները կարդում էր անգլերենով։ Բրոդսկին արժանացել է ամերիկյան մի շարք հեղինակավոր գրական պարգևների։