Etter våpenhvilen i 2003 ble Bunyoni sjef for den nye politistyrken i Burundi. Fra 2007 til 2011 var han minister for offentlig sikkerhet, en stilling han også hadde fra 2015 til 2020. Fra 2011 til 2014 ledet han innenriksministeriet ved presidentens kontor. Den 23. juni 2020 godkjente nasjonalforsamlingen Bunyoni som Burundis åttende statsminister. Han ble samme dag tatt i ed av presidenten. I april 2023 leter burundisk politi etter Bunyoni, men advart om hans forestående arrestasjon flykter han. De påståtte fakta er ikke kjent. Han ble til slutt arrestert 23. april, bursdagen hans..