Galleriet ble ikke grunnlagt rundt en eksisterende samling, og da galleriet åpnet hadde det bare 112 malerier. I 1866 ble det opprettet et årlig innkjøpslegat, og i 1891 var plassen allerede begrenset I 1897 indikerte enke-grevinnen av Milltown hennes intensjon om å donere innholdet i Russborough House til galleriet. Denne gaven besto blant annet av rundt 223 malerier, 48 skulpturer, 33 graveringer, mye sølv, møbler og et bibliotek, og førte til bygging fra 1899 til 1903 av det som nå kalles Milltown-vingen, formgitt av Thomas Newenham Deane.