Dal luglio del 1944 gestì la comunità ebraica di Vilnius occupandosi anche della scelta delle vittime del Massacro di Ponary. Nel ghetto era conosciuto con il nome di "Weiss il nero" ("Weiss" in tedesco significa "bianco"). Nel febbraio del 1950 venne condannato da un tribunale di Würzburg all'ergastolo per aver partecipato all'omicidio di almeno 30.000 ebrei e per sette omicidi individuali. ""L'imputato Weiss ... ha agito come l'autorevole spina piena dell'ordine generale di distruggere. Inoltre, ha continuato a prendere una decisione sicura di sé e in inimmaginabile disprezzo per la vita umana riguardo al destino di molte migliaia di ebrei di tutte le età e di tutti i sessi ... ”" . Dopo 20 anni, nel 1970, la sua condanna fu sospesa e fu rilasciato nel 1977. Weiß è morto a Karlsruhe nel 1984.