Fengselet ble bygget i 1796, og ble først kalt for å skille det fra det gamle fengselet, et helsefarlig fangehull, noen hundre meter unna. I løpet av de 140 år det fungerte som fengsel ble mange av lederne for den irske uavhengighetskampen plassert der. Robert Emmet satt der inntil han ble henrettet i 1803, og lederne for påskeopprøret ble henrettet i fengselets luftegård i mai 1916. Under den irske borgerkrig ble flere IRA-medlemmer henrettet i Kilmainham.