Den 9. mars 1935 utnevnte pave Pius XI ham til erkebiskop av New Orleans. Der etterfulgte han erkebiskop John Shaw. Rummels promosjon til New Orleans fant sted under den store depresjonen. Byen så en rask urbanisering som bønder trakk inn til byen for å finne fabrikkarbeid. Samtidig var det flere ferske immigranter fra Europa, menge av dem katolikker. I løpet av de neste tredve årene doblet den katolske befolkningen seg til over 762.000, og antallet studerende ved katolske skoler økte fra under 40.000 til over 85.000.