Kolb ble den 10. august 1935 utnevnt til titularbiskop av Velicia og hjelpebiskop i Bamberg. Han ble bispeviet 13. oktober 1935 av Bambergs erkebiskop Johann Jakob von Hauck; medkonsekrerende var Ludwig Sebastian, biskop av Speyer, og Matthias Ehrenfried, biskop av Würzburg. Paven utnevnte ham den 26. januar 1943, tre dager etter hans forgjengers død, til erkebiskop av Bamberg. Han ble innført i embedet den 9. mai 1943.