Den 23. april 1847 ble Rappe utnevnt til den første biskopen av det nyopprettede bispedømmet Cleveland av pave Pius IX. Han mottok sin bispeinnvielse den påfølgende 10. oktober fra biskop Purcell, med biskop Richard Vincent Whelan av Richmond som medkonsekrator i Cincinnati.