Fener er sete for patriarken i Konstantinopel, som etablerte seg her i 1601 etter å ha vært i landflyktighet etter Konstantinopels fall i 1453. Den patriarkalske St. Georgskirken ved hovedvegen langs stranda rommer patriarkens trone, og patriarkatets kontorer ligger like ved. Om lag 3% av befolkninga i Fener er etterkommere etter adelsfamilier som forlot byen ved tyrkernes maktovertakelse og opprettelsen av Det osmanske riket, levde i eksil ulike steder rundt Middelhavet og seinere vendte tilbake på sultanens oppfordring. Noen av disse skapte seg store formuer ved handel og finansvirksomhet, og kunne også oppnå høge stillinger i statsapparatet. Blant annet ble provinsene Moldavia og Valakia gitt i len til fanarioter, noe som tillot dem å skape seg enorme formuer og bygge strålende palasser langs Det gylne horn.