Lokalbefolkningen fruktar att det kommer att skada miljön och förorena deras vattenkällor.
La Colosa i centrala Colombia har potential att bli Sydamerikas största guldgruva.
Jean-Arke sade att stadens beslut inte kunde tillämpas retroaktivt.
Ministern tillade att den sydafrikanska gruvjätten AngloGold Ashanti redan hade utfärdats en prospekteringslicens, som skulle behålla sin giltighet.
Jean-Arke sade också att medan marken var under kontroll av lokala myndigheter, var alla underjordiska rikedomar under den nationella regeringens kontroll.
Ministern sade att om AngloGold Ashanti fick den miljölicens som krävs för att gå vidare med projektet, skulle domstolarna eller Colombias kongress vara tvungna att avgöra om de lokala eller nationella myndigheterna hade segrat.
Jean-Arke insisterade på att folkomröstningen inte skulle påverka utländska investeringar i Colombias gruvsektor.
"För första gången på 20 år kommer vi att ha tre stora projekt i genomförandefasen", berättade han RCN.
Han sa att kampanjarbetarna hade felinformerat väljarna.
"Vi pratar inte om en utomhusgruva här", sade han. "Inte heller finns det hundra floder i riskzonen."
Campaigners upprördes av Arces kommentarer.
Oppositionen mot president Juan Manuel Santos kritiserade också regeringens inställning i frågan.
"Santos och gruvministern gick med på att bortse från Cajamarcas beslut om La Colosa. Demokratisk mobilisering kommer också att besegra dem, "tweeted opposition Senator och president hoppfull Jorge Robledo.
Endast 76 invånare i Cajamarca, i den centrala provinsen Tolima, röstade för gruvprojektet i söndags folkomröstning, medan mer än 6 100 av stadens 19 000 invånare röstade emot.
Flera andra colombianska städer planerar att hålla liknande röster för att försöka blockera gruvprojekt i sitt område.
Rättning 29 mars 2017: Denna berättelse har ändrats för att klargöra regeringens ståndpunkt om gruvförbudet.
Colombias gruvminister German Arce har ifrågasatt om resultatet av en folkomröstning i staden Cajamarca, där 98 procent av invånarna röstade emot ett stort guldgruveprojekt, kommer att segra.