Fengselet ble tegnet av sir Charles Lanyon og reist mellom 1843 og 1845. Det er tildels inspirert av Pentonville fengsel, som var et av de mest avanserte da det ble åpnet. Crumlin Road fengsel har fire fløyer med opptil fire etasjers høyde, og 640 veller. De første innsatte måtte gå i lenker fra Carrickfergus fengsel i 1846.