Före detta finansminister Sammy Wilson hade anklagat Durkan för att ha signalerat att Nordirland "inte är öppet för företag".
Mr Durkan sade att varje ansökan bedömdes utifrån sina egna meriter.
Han sade att det fanns en "brist på objektiv information om den kumulativa miljöpåverkan" av arbete på platsen i County Fermanagh.
Tamboran Resources ville borra ett 750m djupt hål vid ett stenbrott i Belcoo med hjälp av tillåtna utvecklingsrättigheter.
Mr Durkan sade att borrning kan ha en betydande inverkan på miljön.
Företaget gjorde ett uttalande om att det var "djupt oroat" av ministerns beslut.
Före detta miljö- och finansminister Sammy Wilson kritiserade Durkans beslut.
"Genom att ta ställning som han har, kommer han att förneka Nordirland potentialen att ha hundratals miljoner pund investeringar i vårt eget inhemska bränsle," Mr Wilson sade.
"Han kommer att förneka Nordirland möjligheten till hundratals, om inte tusentals, arbetstillfällen direkt i utforskningen av skiffergas och tusentals arbetstillfällen i industrin i senare led som skulle bli följden av detta, såsom gödningsmedel, läkemedel etc."
Han sade att även Durkans beslut var inkonsekvent.
Av John CampbellBBC Nyheter NI Economics & Business Editor
Tamboran hade tänkt borra med "beviljade utvecklingsrättigheter", vilket innebar att företaget inte skulle ha behövt ansöka om planeringstillstånd.
Ministern kunde bara lägga in sitt veto om han bedömde att arbetet sannolikt skulle ha "en betydande miljöpåverkan".
Och det är precis den position han har kommit fram till.
Tamboran måste nu göra en fullständig planering ansökan med en åtföljande miljöredovisning, en process som, konservativt, kommer att ta månader att slutföra.
Men det betyder inte att borrhålet inte så småningom kommer att borras.
Alternativt kan Tamboran vilja försöka få en rättslig prövning av beslutet, med argumentet att ministern inte har tolkat planeringsreglerna korrekt.
"Ett antal borrhål som går ner till 3000 fot har redan tillåtits i Nordirland utan att detta fullständiga planeringstillstånd krävs", sade han.
"Jag tror att byrån skulle ha ett mycket bra fall för att gå för en rättslig prövning."
Som svar sade Durkan: "I detta särskilda fall är den plats som Tamboran valt för sin föreslagna undersökande borrning platsen för ett stenbrott där otillåtet arbete har utförts tidigare.
– Jag följer en försiktighetsstrategi och tar hänsyn till bristen på objektiv information om den kumulativa miljöpåverkan av det arbetet och det arbete som kan komma att äga rum i framtiden.
"Om företaget är lika engagerat här som Sammy föreslår, då kommer de att vara beredda att utföra det arbete som krävs och att ge mig en fullständig miljöredovisning."
På måndag kväll höll anti-fracking demonstranter en ekumenisk tjänst vid grindarna till stenbrottet för att fira ministerns beslut.
Donal O'Cofaigh från Belcoo Frack Free sa att beslutet kunde fördröja projektet avsevärt.
"Det är en stor lättnad, ministern har gjort rätt beslut," sade han BBC.
"Det här är första gången som vi kommer att få möjlighet att rådfrågas om detta. Detta är något som är av stor betydelse för lokalsamhället."
MP för området, Michelle Gildernew av Sinn FÃ©in, välkomnade också tillkännagivandet.
"Beslut att neka Tamboran att börja djupborra testborrning i Belcoo, Fermanagh, är rätt beslut med tanke på det tydliga motståndet mot fracking i området", sade hon.
Tamborans personal flyttade in i stenbrottet för tre veckor sedan och utförde arbete för att säkra platsen.
Protestörer som invände mot både fracking och gas prospektering hade hållit en permanent vaka vid stenbrottet.
Syftet med borrhålet var att kontrollera om det fanns tillräckligt med gas under marken för att motivera en licens för att starta en frackingoperation.
Protester sade att de fruktade ett borrhål kunde vara det första steget mot inrättandet av en industri som de tror kan skada miljön och hälsan hos lokalbefolkningen.
Borrhålsborrningsprocessen skulle inte ha inneburit frackning.
Tamboran måste nu göra en fullständig planeringsansökan med en åtföljande miljöredovisning.
"Företaget ser för närvarande över sin position och kommer att släppa en ytterligare uttalande i sinom tid," Tamboran sade.
För närvarande, Sinn FÃ©in, SDLP och UUP säger att de motsätter sig fracking, medan DUP har sagt prospektering bör äga rum, och varje ansökan om extraktion bör bedömas vid den tidpunkten.
Förra veckan fördömde politikerna en bensinbombsattack som riktade in sig på en Tamboranarbetares familjehem i Letterbreen.
Miljöminister Mark H Durkan har försvarat sitt beslut att blockera ett undersökande borrhål för skiffergas.