I løpet av sin 16 år lange tid som biskop i Cleveland grunnla Horstmann 22 nasjoalmenigheter, og skoler som i Cleveland, i Toledo, og og , oppkalt etter hans mor. Han var også for Catholic University of America.