Po wybuchu II wojny światowej i agresji ZSRR na Polskę, przebywał we Lwowie. Bezpośrednio po kapitulacji miasta i zajęciu go przez Armię Czerwoną został 26 września 1939 r. aresztowany przez NKWD w organizowanym przez siebie Muzeum Etnograficznym. Doniósł na niego Aleksander Nikołajewicz Prusiewicz, który przekazał władzom radzieckim, że Kozłowski był niegdyś premierem i ministrem. Poddano go wielogodzinnym przesłuchaniom, ostatecznie trafił do lwowskiego więzienia zamarstynowskiego (przy ul. Zamarstynowskiej). Podczas jednego z przesłuchań został dotkliwie pobity. W marcu 1940 wysłano go do Moskwy, gdzie został osadzony w więzieniu na Łubiance. Tam kontynuowano przesłuchania (m.in. nakazano Kozłowskiemu spisanie szczegółowego życiorysu). Warunki więziennego życia spowodowały nagłe pogorszenie stanu jego zdrowia – chorował na szkorbut, stracił wzrok w prawym oku. W kwietniu 1941 został przeniesiony do najcięższego moskiewskiego więzienia w Lefortowie. 7 lipca przedstawiono mu akt oskarżenia, po czym przetransportowano do więzienia w Butyrkach. Tam został skazany na karę śmierci za działalność antyradziecką i skierowaną przeciwko ruchowi ludowemu. Później wyrok ten zamieniono na 10 lat łagrów. Działo się to już po wybuchu wojny radziecko-niemieckiej, kiedy to Stalin rozważał możliwość zawarcia sojuszu z Polakami przeciwko III Rzeszy. 30 lipca 1941 podpisano porozumienie pomiędzy Sikorskim a Majskim, na mocy którego m.in. Kozłowski powinien był niezwłocznie opuścić mury więzienne. Uwolniono go jednak dopiero 6 września.