En 1972, se graduó en literatura inglesa por la Universidad Makerere. Migró de Uganda a Inglaterra, con su sobrina, Farah Damji, poco antes de la expulsión de ugandeses asiáticos de Uganda por Idi Amin, completando un Master of Philosophy en literatura en Linacre College, Universidad de Oxford, en 1975. Después de trabajar como maestra, en particular con los inmigrantes y refugiados, se dedicó al periodismo. Está casada con Colin Brown, Presidente del Grupo de Servicios al Consumidor de la Financial Services Authority; la pareja tiene una hija y Alibhai-Brown tiene un hijo de un matrimonio anterior.