Sykehuset åpnet i 1935 under navnet «Det fransk-muslimske hospital» (), og var bygd spesifikt for å ta seg av det store antallet nordafrikanske innvandrere som hadde bosatt seg i Paris-regionen. Disse innvandrerne hadde ikke råd til å bo i selve Paris, derfor slo de seg ned i forstedene nord for hovedstaden under svært kummerlige forhold. Sykehuset fikk navnet i 1978, til minne om middelalderens verdenskjente, muslimske lege Avicenna. Per 2020 er sykehuset ett av tre universitetssykehus i området Paris/Seine-Saint-Denis.