En 2003, la CNDD-FDD alcanzó un alto el fuego con los otros combatientes en la Guerra civil de Burundi. Desde 2004 hasta 2005, Bunyoni fue el Inspector General de la nueva fuerza policial. Desde 2005 hasta 2007, se desempeñó como Jefe de Policía de Burundi.