Moskeen befinner seg i Midan al-Qal'a, som ligger like ved Citadellet i Kairo. Ved siden av Al-Rifa'i-moskeen ligger Sultan Hassans madrassa-moské fra ca. 1361, og Al-Rifa'i-moskeen ble tegnet slik at den skulle harmonere med den eldre nabobygningen. Byggingen av Al-Rifa'i-moskeen inngikk således i et omfattende intitativ fra Egypts herskere på 1800-tallet som gikk ut på både å knytte sitt eget styre opp till det som ble ansett for å være ærefulle epoker i Egypts islamske historie, og samtidig modernisere landets hovedstad. Den nye moskeen ble bygget ved to store, offentlige plasser og i nærheten av flere boulevarder som ble bygget etter europeisk modell omtrent på samme tid.