À la suite de sa participation à une tentative ratée de coup d'État le 13 mai 2015 aux côtés du général Godefroid Niyombare, il est limogé le 18 mai et remplacé par Emmanuel Ntahomvukiye, un civil. Godefroid Niyombare explique en mai 2017 que Pontien Gaciyubwenge devait assurer la coordination des troupes durant le putsch, mais que les communications avec lui ont été rapidement coupées. Il soupçonne le ministre d'avoir été prévenir le président Pierre Nkurunziza de ce qu'il se passait, et considère son attitude comme .