When Amin was forced to leave Uganda in 1979, Kyolaba went with him to exile, first in Libya and then to Saudi Arabia, where they eventually settled in Jeddah.
Kun Amin joutui lähtemään Ugandasta vuonna 1979, Kyolaba meni hänen kanssaan ensin Libyaan ja sitten Saudi-Arabiaan, jossa he lopulta asettuivat Jeddahiin.