Etter parlamentsvalgene i 1995 var Sinijärv medlem av flere ustabile regjeringsdannelser ledet av Samlingspartiets Tiit Vähi og Mart Siimann. Sinijärv var utenriksminister fra april 1995 til regjeringen gikk i oppløsning i november samme år etter en telefonavlyttingssak. Han gikk så til stillingen som leder for statskontoret for EU-integrasjon. I august 1996 ble han konsultativ europaminister, men overtok allerede i desember 1996 som innenriksminister, etter at Det estiske reformpartiet trakk seg ut av regjeringen. Han fortsatte etter regjeringsskiftet i mars 1997, men gikk av måneden etter.