Nhial Deng Nihal berättade för BBC sudanesiska styrkor hade invaderat staden Jau, som var i söder.
Han uppmanade det internationella samfundet att ingripa och sade att han hoppades att fullskaliga fientligheter fortfarande skulle kunna undvikas.
Sydsudan avgick från norr i juli efter år av inbördeskrig där omkring 1,5 miljoner människor dog.
Gränsen mellan norr och söder har ännu inte officiellt utsetts.
Sedan juli har Khartoum och Juba anklagat varandra för att stödja rebeller i gränsområdena.
Deng Nihal sade att sammandrabbningarna i Jau, som han sade var en stad i enhetsstaten, var det största hotet mot freden sedan Sydsudans självständighet.
"Även om det har förekommit täta flygbombningar av olika platser i Republiken Sydsudan, tror vi att Khartoum har höjt denna offensiv till en helt ny nivå genom att engagera markstyrkor att gå över till Republiken Sydsudan", berättade han BBC: s fokus på Afrika-programmet.
"Vi är fortfarande mycket engagerade i principen om dialog med Khartoum - vi hoppas fortfarande att vi kan dra oss tillbaka från randen till direkt krig."
Tidigare berättade överste Philip Aguer, talesman för Sydsudans armé - södra folkets befrielsearmé (SPLA) - för BBC att Khartoum hade använt stridsvagnar och långdistansartilleri i offensiven mot Jau, som började på lördagen.
• Blue Nile och South Kordofan har inte haft populära samråd om sin framtid, på grund av splittringen
• Abyei har inte hållit någon folkomröstning om huruvida man ska ansluta sig norr eller söder, på grund av splittringen
• Fördelning av oljeintäkter
• Exakt gränsavgränsning
Antonov flygplan hade också bombat området, sade han.
Han sade att de södra trupperna nu hade återtagit staden, men att sudanesiska soldater fortfarande var i Sydsudan.
"Detta är en krigssituation och om de inte drar sig tillbaka, SPLA kommer att tvinga ut dem," Col Aguer berättade AFP nyhetsbyrån.
Över gränsen i delstaten Sydkordofan har Sudans armé i flera månader kämpat mot rebeller, som en gång kämpade mot Khartoum under inbördeskriget.
Sydkordofan är ett av flera gränsområden som inte lyckades hålla folkliga samråd om sin framtid inför Sydsudans självständighet.
Deng Nhial förnekade anklagelserna om att hans regering stödde rebellerna i de norra gränsområdena, så kallade SPLM-North.
"Vi hade förknippats med SPLM-Norra under vår kamps år. Efter självständighet bröt vi alla militära band med våra enheter i norr och vi gav inte någon extra utrustning," sade han.
Utrikesministern sade att det är viktigt att gränsen avgränsas ordentligt.
"Khartoum fortsätter att dra sina fötter även om vi är överens om att nära 80% av gränsen inte längre är i strid," sade han.
"Detta i vårt sinne väcker allvarliga misstankar."
Sydsudans utrikesminister har varnat sitt land för krig mot Sudan efter dagar av våldsamma strider längs gränsen.