W latach 1941–1943 dowodził złożonym z litewskich kolaborantów oddziałem specjalnym SD i policji bezpieczeństwa w Wilnie ("Sonderkommando der Sipo und SD"), znanym także pod litewską nazwą "Ypatingasis būrys". Jednostka ta wymordowała około 80 tys. osób, w większości Żydów, podczas masowych egzekucji w podwileńskich Ponarach. Weiss bezpośrednio nadzorował przebieg tej zbrodni. Każdorazowo uczestniczył w większych egzekucjach, a ponadto zdarzało się, że osobiście kierował plutonem egzekucyjnym i własnoręcznie dobijał rannych.