W okresie panowania Maurów obszar ten stanowił centrum miasta. Po zdobyciu miasta przez chrześcijan w połowie XII w. stopniowo (w obawie przed trzęsieniami ziemi) zaczęto przeprowadzać się do innych dzielnic, w tym m.in. na tereny dzisiejszej Baixy. Alfama stała się wówczas dzielnicą zamieszkaną przez najniższą warstwę społeczną, m.in. rybaków. Jednak charakterystyczne położenie Alfamy przyczyniło się do tego, że w czasie wielkiego trzęsienia ziemi w 1755 roku zabudowania Alfamy przetrwały praktycznie w nienaruszonym stanie.