Som kritiker hadde af Wirsén manga utdannede menneskers ører, men ingen større forbindelse med den unge litteraturen, og han har blitt beryktet for sine manga negative uttalelser om August Strindberg, Verner von Heidenstam, Selma Lagerlöf, Henrik Ibsen og mange andre. Hans sentrale stilling som fast sekretær i Svenska Akademien – den institusjonen som fra 1901 delte ut Nobelprisen i litteratur – hadde også betydelig innflytelse på de første årenes valg av prisvinnere; eksempelvis Selma Lagerlöf som af Wirsén lenge lykkes å utmaøvrere fra å få prisen.