Han ble sendt til Stavanger Kretsfengsel og derfra til Møllergata 19 i Oslo i februar 1941, deretter til Åneby før han ble returnert til Møllergata 19 for deportasjon 22. mai 1941. Han ble deportert med fangeskipet MS «Monte Rosa» (ifølge Kristian Ottosen ble Rabinowitz deportert 27. april sammen med blant andre Benjamin Bild, politimester Christian Wilhelm Rynning-Tønnesen, major Finn Backer og politimannen Finn Klepp; dette var den første deportasjonen til Sachsenhausen). I Stettin skrev han sitt testamente, med sine medfanger som vitner; politimester Christian Wilhelm Rynning-Tønnesen som testamentfullbyrder, politikonstabel Kleppe og major Bache som vitner. Fra Stettin ble fangene sendt via ulike leirer og fengsler før de 30. november 1941 ble overført fra Berlin til Sachsenhausen. Han ble sendt til konsentrasjonsleiren Sachsenhausen hvor han ble plassert på «jødebrakka» som fange nummer 40297. Rabinowitz døde der 27. februar 1942. Leiradministrasjonen sendte dødsmelding til folkeregisteret i Oranienburg der dødsårsaken ble protokollført som hjertelammelse. Ifølge Kristian Ottosen døde Rabinowitz av sult og overantrengelse. Oppgitt dødsårsak var lungebetennelse.