Hollingworths periode som generalguvernør var i stor grad preget av striden angående påstander om at han ikke hadde gjort nok for å undersøke anklager om seksuelle overgrep begått av prester innenfor bispedømmet Brisbane da Hollingworth satt som erkebiskop. Gjennom mye av hans tid manglet han den tverrpolitiske støtten, og mange sentrale medlemmer av den politiske opposisjonen ba ham gjentatte ganger om å gå av.