Mens han fortsatt var i embetet som aktiv hjelpebiskop i Detroit, benyttet Gumbleton under en gudstjeneste en mitra som var dekorert med et kors, en regnbue og en rosa triangel. Sistnevnte ble særlig kritisert fra flere hold ettersom den var det symbol som ble benyttet for å identifisere homoseksuelle menn i nazistenes konsentrasjonsleirer. Gumbleton kom også ut i offentligheten i 2007 ved publiseringen av Vatikanets instruksjon vedrørende ordinasjoner av homofile menn, og argumenterte mot et forbud i tidsskriftet .