Pentagon hövdingen sa också att Pyongyang skulle vara "grymt övermatchad" i ett krig mot USA och dess allierade.
Hans skarpa varning kommer en dag efter att president Donald Trump hotade Nordkorea med "eld och raseri".
USA:s utrikesminister Rex Tillerson försökte försäkra amerikanerna att det inte fanns något överhängande hot.
I onsdagens kraftfulla uttalande uppmanade Mattis Pyongyang att stoppa sitt vapenprogram.
"DPRK (Demokratiska folkrepubliken Korea) måste välja att sluta isolera sig och lägga ner sin jakt på kärnvapen", sade den amerikanska marinkåren general.
"Medan vår departement gör allt för att lösa detta globala hot med diplomatiska medel, måste det noteras att de allierade militärerna nu har de mest exakta, repeterade och robusta defensiva och offensiva förmågorna på jorden."
Pyongyangs handlingar "kommer att fortsätta att vara grovt övermatchade av våra och skulle förlora varje kapprustning eller konflikt den initierar", tillade Mattis.
Trump - som har sagt att han inte kommer att tillåta Pyongyang att utveckla ett kärnvapen som kan träffa USA - skröt tidigare på onsdagen av USA: s atomarsenal.
Tidigt på morgonen tweets från New Jersey där han är på semester, presidenten sade den amerikanska kärnvapenlagret var "mer kraftfull än någonsin tidigare".
Han tillade att han var hoppfull "vi kommer aldrig att behöva använda denna makt".
Slut på Twitter inlägg av @realDonaldTrump
Slut på Twitter inlägg 2 av @realDonaldTrump
Tweetsen kommer mitt i eskalerande retorik mellan de två sidorna.
Nordkoreas statliga KCNA nyhetsbyrå sade på onsdag att Pyongyang var "en försiktig granskning" en plan för att slå USA territorium Guam.
Pacific ön är hem för amerikanska militärbaser, strategiska bombplan och cirka 163.000 människor.
Att stanna i Guam för att tanka efter en resa till Sydostasien, Tillerson sade att han var hoppfull en global "tryck kampanj" som involverar Ryssland och Kina kan leda till ny dialog med Pyongyang "om en annan framtid".
Amerikas främsta diplomat försvarade också president Trumps språk.
Han sade att den nordkoreanska ledaren Kim Jong-un inte förstod diplomatiskt språk, och det behövdes ett starkt budskap som han kunde förstå.
Tillerson tillade att situationen inte hade förändrats dramatiskt under de senaste dagarna och att amerikanerna "bör sova gott på natten".
Kina har uppmanat till lugn och beskriver situationen som "komplicerad och känslig".
Anthony Zurcher, senior reporter från BBC i Nordamerika
Som Donald Trump gjorde sin "eld och raseri" hot mot Nordkorea, den ensamma kameran i rummet zoomade in för en tight skott. Det skulle ha varit talande att se vilken verkan dessa ord hade på hans rådgivare.
Nickade de medvetet eller såg de förvånade ut? Var detta en del av planen eller en off-the-cuff president anmärkning de skulle behöva städa upp?
En dag senare och tusentals mil bort, Rex Tillerson hade ut sin mopp och kvast. Statsministern sa att Trump bara upprepade att USA skulle försvara sig om de attackerades, genom att använda språket Nordkorea skulle förstå.
Men det var inte precis vad presidenten sa. Han varnade för vedergällning om Kim Jong-un fortsatte att hota - straffa ord med handling.
Det kan helt enkelt vara olyckliga fraser från en man som ibland är lös med ord. Tillerson skulle inte vara den första presidentaide som avser att sätta in Trumps trubbiga uttalanden i ett mjukare ljus.
Med presidenten som tippar USA:s kärnvapenmakt och testar en ICBM, kan dock utrikesministern - som redan anses ha föga inflytande i denna administration - finna sina ansträngningar för att klargöras begravd i en störtflod av bluster.
Vita huset på onsdag förnekade rapporter att Mr Trump s "eld och raseri" uttalande en dag tidigare, ovanligt provocerande för en amerikansk president, var en off-the-cuff anmärkning som hade fångat sin inre cirkel omedvetna.
Sekreterare Sarah Huckabee Sanders sade till reportrar: "Budskapets ton och styrka diskuterades i förväg."
Trots FN:s sanktioner genomförde Pyongyang två kärnvapenprov förra året och två interkontinentala ballistiska robottester i juli.
På tisdagen hävdade mediarapporterna i USA att Norden hade uppnått sitt mål att göra en kärnvapenstridsspets liten nog att passa in i sina missiler.
De flesta analytiker tvivlar dock på att den lilla diktaturen skulle inleda en självmordsbenägen förebyggande attack mot USA.
Nordkorea befinner sig tekniskt sett fortfarande i ett krigstillstånd med USA och Sydkorea efter att konflikten 1950-53 på halvön slutade i en vapenvila.
Få nyheter från BBC i din inkorg, varje vardag morgon
USA:s försvarsminister Jim Mattis har sagt till Nordkorea att undvika handlingar som skulle kunna inleda "slutet på dess regim och förstörelsen av dess folk".