Ở nơi giam giữ mới, Dzhugashvili thường xuyên bị quấy rầy bởi những vị khách muốn gặp và chụp ảnh con trai của Stalin. Ông cũng thường xuyên cãi nhau với các tù nhân người Anh, thậm chí đánh nhau với họ. Sau khi Thống chế Friedrich Paulus đầu hàng và bị bắt làm tù binh tại Trận Stalingrad vào tháng 2 năm 1943, người Đức đã đề nghị với phía Liên Xô là sẽ trao đổi Dzhugashvili với ông ta. Điều này đã bị Stalin từ chối với tuyên bố "Hãy nghĩ xem có bao nhiêu người con trai đã bị giam cầm trong các trại tập trung! Ai sẽ trao đổi họ với Paulus? Họ có tệ hơn Yakov không?" Theo Nikolay Tolstoy, cũng có một đề nghị khác, với Hitler muốn trao đổi Dzhugashvili cho cháu trai của Raler, Leo Raubal; nhưng điều này cũng không được chấp nhận.