Da sovjetiske styrker nærmet seg østfra ble de gjenlevende fangene i Auschwitz drevet vestover, først til jernbaneknutepunktet Gleiwitz og videre med tog til Mittelbau-Dora (i Harz), hvor han traff landsmannen Moritz Kahan. Etter en tid ble Rubinstein og Kahan sendt videre fra Dora med tog, etter seks dager kom de til Miste da var det bare fem i live av 135 i den fullstappede jernbanevognen. Rubinstein ba SS-vakten Schäfer om vann, hvorpå Schäfer svarte «Ditt jødesvin, jeg skal gi deg vann!» og drepte Rubinstein med en skuddsalve. Rett etter ble toget truffet av bomber og Kahan kom seg unna. Ifølge Mendelsohn stanset toget fordi lokomotivet ble truffet av allierte bomber. Kahan var ifølge Mendelsohn på flukt i ni dager i kampsonen før han traff de amerikanske soldatene. Kahan sørget for å få Rubinstein gravlagt (ved Gardelegen) og Rubinsteins grav ble gjenfunnet etter krigen og urnen flyttet hjem til Norge av den norske militærmisjonen. Av norske jøder som ikke overlevde deportasjonen, var Rubinsteins grav den eneste som ble funnet.