DUP-ledaren sade att han inte var beredd att förbli som förste minister i en maktdelningsregering "höll sig i mörkret" om en så viktig fråga.
Han talade efter rättegången mot Donegal mannen John Downey kollapsade.
Mr Downey nekade att döda fyra soldater vid bombningen av IRA Hyde Park 1982.
Fallet kollapsade eftersom han av misstag fick veta i ett brev 2007 att han inte längre var efterlyst, trots att polisen i Nordirland visste att han fortfarande söktes upp av Scotland Yard.
Även om polisen snart insåg att de hade gjort ett misstag, blev försäkran aldrig tillbakadragen.
Det sades att totalt cirka 200 sådana brev delades ut - främst under den förra labourregeringen - till misstänkta "på flykt".
Nordirlands kontor (NIO) har bekräftat att alla mottagare var republikaner.
Premiärminister David Cameron berättade för underhuset i onsdags att Mr Downey aldrig skulle ha skickats brevet och att det hade varit ett "tråkigt misstag".
Jean-Claude Downeys advokat sade att hans påstådda brott hade klassificerats som ett av de fall som inte längre skulle drivas mot bakgrund av framstegen i fredsprocessen i Nordirland.
Justitieminister Dominic Grieve sade i onsdags till underhuset att domen inte skulle överklagas.
Robinson krävde att alla brev som skickades ut skulle upphävas och att "fullständigt avslöjande" av vad som hade hänt skulle lämnas ut.
"Jag är inte beredd att hållas i mörker av Hennes Majestäts regering om frågor som är relevanta för Nordirland", berättade han BBC.
"Jag vill ha en fullständig rättslig utredning för att ta reda på vem som visste, när de visste och vad de visste. Jag vill veta vilka de är och vilka brott de tros ha begått."
Han sade att han kände sig lurad av regeringen, och om han och tidigare DUP-ledare Ian Paisley hade känt till detta, skulle de inte ha ingått maktdelning regering med Sinn FÃ©in 2007.
"Jag är inte beredd att vara en idiot för Westminster som har hemligheter i frågor som nu är decentraliserade till Nordirland", sade han.
Alla som redan dömts för paramilitära brott blev berättigade till tidig frigivning enligt villkoren i avtalet från 1998 om långfredagen i Nordirland.
Avtalet omfattade inte
Robinson sade att han skulle diskutera frågan med Nordirlands sekreterare Theresa Villiers vid ett möte senare på onsdagen.
Som svar på Robinsons kommentarer twittrade Martin McGuinness, Nordirlands biträdande förste minister: "Mina fackliga kolleger måste lugna ner sig. Vi har alla kommit långt. Ingen vettig person kommer att tacka någon för att ha hotat institutionerna."
Denis Bradley, tidigare vice ordförande i NI Policing Board och medordförande för en grupp som inrättats för att ta itu med Nordirlands förflutna, sade att han blev förvånad när fackföreningsmedlemmar sade att de inte var medvetna om frågan.
"Jag vet inte vem som höll vem i mörkret eftersom det var väldigt mycket i den offentliga situationen", sade han.
"Den var väl informerad i Polisstyrelsen vid den tiden, det kanske inte har varit i full styrelse, men det var säkert i en underkommitté vilket innebär att det skulle vara i protokollen, i några av dessa styrelsemöten.
"Det är i Eames-Bradley rapporten, det är där att läsa, vi hänvisade till det, vi tog upp det, så jag vet inte vem som hålls i mörkret."
Jim Allister, ledare för det traditionella Unionistiska Röstpartiet, som är emot maktdelning, sade att kanske DUP "inte ville veta" om breven.
Han sade: "Det verkar vara ett misslyckande från deras sida att fullständigt förhöra de frågor som låg i centrum för förhandlingarna för att få både Sinn FÃ©in och DUP in i regeringen.
"Kanske var det lite av vi inte vill veta eftersom vi är mycket angelägna, som DUP var, att komma in i regeringen med Sinn FÃ©in och nu är allt kommer hem till tuppen."
Villiers medgav att resultatet av ärendet hade gjort det svårare att göra framsteg i de nordirländska samtalen under ledning av den amerikanske diplomaten Richard Haass.
Samtalen - om parader, det förflutna och flaggor - bröts upp utan överenskommelse i december.
"Det fanns en del mycket viktigt arbete som har pågått under de senaste veckorna mellan partiledarna; något verkligt engagemang för att försöka hitta en väg framåt", sade hon.
"Det råder ingen tvekan om att det kommer att bli svårare att hitta den vägen framåt nu med tanke på händelserna under de senaste 24 timmarna, men jag fortsätter att uppmuntra parterna att göra det."
Hon kommer att träffa Nordirlands justitieminister David Ford på torsdag.
Mr Ford berättade för BBC att han bara blev medveten om breven efter utgången av rättegången, och det hade inget med hans avdelning att göra.
Han sade att Villiers "kanske vill dumpa ansvaret för systemet på sina föregångare i Labourregeringen, och det var faktiskt de som startade det, men hon kan inte dumpa ansvaret för det på justitiedepartementet som inte fick veta något om det".
"Jag är bekymrad över hela frågan om vad detta så kallade system innebär", tillade han.
Alliansledaren sade att medan hans parti accepterade att frågan om on-the-runs måste hanteras, "vad vi behövde var en öppen och öppen process".
Han sade att han inte trodde att regeringen hade varit ärlig i frågan.
NIO har sagt 38 av breven utfärdades av dess tjänstemän till "individer som redan var under övervägande" sedan koalitionsregeringen kom till makten 2010.
Den sista skrivelsen utfärdades i december 2012.
Ulster Unionist ledare Mike Nesbitt sade att han hade talat med sitt partis tidigare ledare Lord Trimble tidigare på onsdagen.
"David Trimble hade ingen kunskap om dessa brev förrän igår, han skulle aldrig ha stött en amnesti," sade han.
"Att sluta med det förflutna är borttaget från dagordningen för partiledarnas samtal tills denna fråga är löst."
Under tiden har BBC News Channels ledande politiska korrespondent Norman Smith sagt att vissa konservativa parlamentsledamöter vill att hotet om åtal mot fallskärmsjägare som är inblandade i Bloody Sunday ska hävas efter fallet Downeys kollaps.
Han sade en parlamentsledamot sade till honom: "Jag är fördömd om de skulle få en amnesti och tidigare soldater kvar hängande där; osäker över om de kan ställas inför åtal."
Tretton civila dödades under de blodiga söndagsskjutningarna i Londonderry 1972. En 14:e dog senare.
Man förstår att ett brev ska skrivas till premiärministern och uppmana honom att häva hotet om åtal mot fallskärmsjägare.
Nordirlands förste minister Peter Robinson har hotat att avgå om det inte finns en rättslig undersökning av hemliga brev som getts till mer än 180 irländska republikanska paramilitära misstänkta.