得图西族人的人身安全备受威胁。身为图西族人的鲁维吉耶马因此于1960年随家人逃离至乌干达，最终于安古勒恩生格勒齐的一座难民营定居。1976年高中毕业后，鲁维吉耶马来到坦桑尼亚，并加入总部位于坦桑尼亚的乌干达反抗组织乌干达救国阵线。该组织的领导人约韦里·穆塞韦尼是鲁维吉耶马的好友萨立姆·萨勒的弟弟。此时，鲁维吉耶马开始以弗雷德·鲁维吉耶马（Fred Rwigyema）自称，不再使用原名基萨（Gisa）。同年，鲁维吉耶马前往莫桑比克参与莫桑比克解放阵线对抗葡萄牙殖民政府和追求莫桑比克独立的武装抵抗运动。