Später zog das Waisenhaus in ein größeres Gebäude in der Bolschaja Shitomirskaja, damals noch Uliza Lwowskaja.
Joe war hauptsächlich im Waisenhaus aufgewachsen und daher immer von anderen Kindern umgeben gewesen, mehr als die meisten anderen Menschen.