Den f.d. Sierra Leone-taktikern avskedades på torsdag efter 15 månader med ansvar för Amavubi.
McKinstry sa att han var "överraskad och besviken" och skälen "inte hade gjorts helt tydlig" för honom.
McKinstry tog över Rwandajobbet från engelsmannen Stephen Constantine som avgick i mars 2015.
Den nordirländska irländaren ledde sedan Rwanda till kvartsfinalen av 2016 års Afrika Nations Championship som de var värd för.
Han ledde också laget till tvåan plats i 2015 Cecafa Senior Challenge Cup i Addis Abeba, Etiopien.
"De specifika orsakerna bakom beslutet har inte gjorts helt klart för mig med tanke på vår prestation hittills, jag är därför både förvånad och besviken över tillkännagivandet idag, och att jag och laget inte kommer att kunna avsluta vad vi började," sade han.
Den 30-årige tränaren lyckades spela in 11 segrar, två dragningar och ett dussin nederlag i de 25 matcher han var ansvarig för Rwanda.
Enligt Rwanda FA fick McKinstry sparken därför att han inte uppnådde några av de mål som hade ställts upp för honom.
FA tillkännagav tidigare internationella Jimmy Mulisa, som hade varit McKinstrys assistent, som Rwandas övergångstränare.
Mulisa var en viktig del av Amavubi-sidan som ingick i landets första och enda Afrika Cup of Nations finaler i Tunisien 2004.
Nordirland-födde Johnny McKinstry har uttryckt sin överraskning efter att han avskedades som huvudtränare i Rwandas landslag.