Когда Красная армия вторглась в Польшу, Козловский находился во Львове. 26 сентября 1939 был арестован работниками НКВД во львовском Этнографическом Музее после доноса Александра Прусевича. Козловского держали в сталинских тюрьмах (с марта 1940-го года в Москве), он был подвергнут пыткам, потерял зрение на правый глаз. Приговорён к смерти, но смертный приговор впоследствии был заменён на 10 лет лагеря. По договорённости с Владиславом Андерсом был освобождён, но будучи инвалидом из-за насилия над ним в советских тюрьмах Козловский был не боеспособен и работал квартирмейстером в армии Андерса. Осенью 1941 года дезертировал и бежал к немцам. Был заочно приговорён к смерти полевым судом армии Андерса.