Emily Ruete, Khalifahs søster og forfatter av , skreiv at Khalifah blei satt i fengsel med en gang deres bror Barghash bin Said kom til makta, fordi Barghash frykta at han skulle prøve å overta tronen. Han blei ikke frigjort før en av deres søstre skulle på pilegrimsreise til Mekka, da fordi Barghash var redd for et dårlig rykte i den hellige byen.