Silverberg var medlem av Gustav Stresemanns nasjonalliberale Deutsche Volkspartei. I 1934 måtte Silverberg på grunn av sin jødiske herkomst emigrere til Sveits, men hans venner sikret at han fikk hele sin formue med seg.