Skandalen kom først i 1850 etter en utstilling av Millais' maleri som ble betraktet som blasfemisk av mange for dets realistiske avbildning av den hellige familie som en vanlig arbeiderfamilie. Mest kjent av kritikerne var forfatteren Charles Dickens. Gruppens svermeri for middelalderen ble angrepet for å være tilbakeskuende og deres ekstreme hengivenhet overfor detaljer ble sett på som direkte stygt og skurrende for øyet. I henhold til Dickens ble den hellige familie seende ut som alkoholikere og slumboere som sto i absurde middelalderpositurer. En rivaliserende gruppe av eldre billedkunstnere, «The Clique» (Klikken), benyttet sin innflytelse til å angripe Det prerafaelittiske broderskap. Broderskapets prinsipper ble i tillegg offentlig angrepet av Akademiets president, Charles Lock Eastlake.