I 1940, etter den sovjetisk-litauiske bistandsavtale som innebar at Wilno/Vilniusområdet ble overført til Litauen, ble Romuald Jałbrzykowski meddelt at han måtte flytte. Etter tvangsflyttingen administrerte han i den grad det var mulig den polske delen av erkebispedømmet Vilnius fra 1945, med sete i Białystok.