Im Dezember 1930 wurde Rubin verhaftet und unter Folter zum Geständnis gezwungen, zu den seit dem Kronstädter Matrosenaufstand verbotenen Menschewiki zu gehören. Die Haftstrafe von fünf Jahren wurde 1933 durch Verbannung in das kasachische Dorf Turgai ersetzt. Später durfte er nach Aktjubinsk umziehen, um dort in einer Genossenschaft zu arbeiten. Dort wurde Rubin jedoch im November 1937 wegen Gründung einer konterrevolutionären Organisation erneut verhaftet, zum Tode verurteilt und noch am selben Tag hingerichtet.