Kabuga urodził się w Munig, w dzisiejszej Rwandzie. Kabuga zgromadził swój majątek, posiadając m.in. farmy herbaty w północnej Ruandzie, zostając milionerem. Był ściśle związany z Juvénalem Habyarimaną z partii MRND i Akazu – nieformalnej grupy ekstremistów Hutu z Rwandy północnej, silnie przyczyniły się do ludobójstwa w Rwandzie.