Sommeren 1942 ble han sendt til det okkuperte Polen for å overbevise Odilo Globocnik og Christian Wirth om å ta i bruk Zyklon B til avliving i utryddelsesleirene. I august 1942 besøkte han Belzec-leiren ved Lublin og han var der vitne til bruk av en eksos fra en dieselmotor til gasskamrene. Det var Lorenz Hackenholt som bestyrte avlivingen med eksos fra en motor. På vei tilbake til Berlin møtte han den svenske diplomaten von Otter på toget. Gerstein fortalte von Otter om hva som foregikk og oppfordret von Otter om å rapportere til den svenske regjeringen og de allierte. Gerstein informerte pavens nuntius i Berlin og Otto Dibelius den protestantiske biskopen i Berlin.