Årene med den store hungersnøden (1845–1849) førte imidlertid mye motgang for Kilrush. Sult, utkastelser, feber og kolera reduserte befolkningen i det sørvestlige Clare i en slik grad at den aldri igjen nådde tilbake sitt befolkningstall fra før hungersnøden. Dette ble levende dramatisert for radio i 1980. I tiden etter hungersnøden ble Vandeleur-navnet synonymt med den verste utkastelsen av huseiere, med over 20 000 kastet ut i Kilrush Union. Kilrush-arbeidshuset var vitne til forferdelige forsakelser, nød og dødsfall. På det stadiet hadde Hector Vandeleur etterfulgt John Ormsby Vandeleur.