Osvětim poprvé navštívil 18. dubna 1940 jako člen komise, která měla posoudit, zdali je toto místo vhodné ke zřízení koncentračního tábora. 4. května 1940 byl oficiálně jmenován Himmlerem velitelem nově vznikajícího tábora Auschwitz, kde měl dohlížet na jeho výstavbu. Původně velel táboru Auschwitz I - Stammlager (kmenový tábor), později se táborový komplex značně rozrostl (zejména o Auschwitz II-Birkenau a Auschwitz III-Monowitz, ale také řadu pobočných táborů). V prvních letech byl tábor určen zejména pro polské politické vězně. V roce 1941 byl Höss Himmlerem pověřen přetransformovat Auschwitz na největší vyhlazovací tábor. V rámci studia vražedných metod navštívil vyhlazovací tábor v Treblince. V září 1941, v době Hössovy nepřítomnosti v Auschwitz, vyzkoušel Karl Fritzsch k vraždění obětí Cyklon B, který se do té doby v táboře používal k hubení hmyzu. Höss později v Birkenau koordinoval výstavbu moderních plynových komor s krematorii. Co se týče prvních pokusů s Cyklonem B, vzpomínal pak během Norimberského procesu na ně takto: "Do té doby ani já, ani Eichmann jsme nedovedli najít způsob, jak je budeme hromadně popravovat. Mělo být k tomu sice použito jakéhosi plynu, ale nebylo známo, o jaký plyn jde a jak ho užívat. Těmito pokusy jsme nalezli současně plyn i způsob postupu..."