I februar 2021 ble det fremsatt beskyldninger mot ham om at han var skyldig i seksuelle overgrep. Brungardt understreket sin uskyld og erklærte seg villig til å samarbeide fullt ut med etterforskningsmyndighetene. Samtidig varslet han at han ville trekke seg fra bispedømmets ledelse så lenge etterforskningen varte. Derfor ble biskopen av Salina, Gerald Vincke, den 8. februar 2021 utnevnt til apostolisk administrator .