Etter anklager mot ham om seksuelle overgrep, som han innrømmet medførte riktighet, tilbød Vangheluwe sin fratreden fra embedet. Etter eget utsagn mishandlet han en nevø gjentatte ganger; dette skjedde før og etter hans bispeordinasjon i 1985. Den 23. april 2010 ble hans begjæring om fratredelse iht. 401 § 2 CIC (sykdom eller ) innvilget av pave Benedikt XVI.