Philip Hammond efterlyste en översyn av EU:s lagar för att se till att människor som kommer från Afrika till Europa kan återvända till sitt hemland.
Skugga utrikesminister Hilary Benn anklagade Hammond för "scaremongering".
Steve Symonds från Amnesty International UK beskrev Hammonds "smyckade svar" som "skumt".
"I stället för att kasta upp dragbryggan och tala om hur Europa kan "skydda" sig mot invandrare, borde Hammond samarbeta med våra EU-partner för att se till att människor inte drunknar i Medelhavet eller krossas under lastbilar i Calais", sade han.
Benn tillade att Filip Hammond borde "tänka närmare på vad han säger".
"Vi behöver ansvar och internationellt ledarskap från denna regering, inte skrämmande," sade han. "De som flyr Syrien är desperata flyktingar från ett land som slits sönder av krig."
Under ett besök i Singapore sade Filip Hammond: "Så länge Europeiska unionens lagar är som de är, kommer många av dem bara att behöva sätta sin fot i Europa för att vara ganska säkra på att de aldrig kommer att återföras till sitt ursprungsland.
"Det är inte en hållbar situation eftersom Europa inte kan skydda sig självt och bevara sin levnadsstandard och sociala infrastruktur, om det måste absorbera miljontals migranter från Afrika."
Han sade att problemet i slutändan måste lösas genom att kunna återföra dem som inte har rätt att begära asyl tillbaka till sina ursprungsländer - något som Filip Hammond beskrev som "vår främsta prioritering".
Han tillade att detta var nyckeln till att lösa "krisen" i Calais, där tusentals människor samlas i hopp om att kunna ta sig över Engelska kanalen till Storbritannien.
Under de senaste veckorna har man infört ökade säkerhetsåtgärder i Calais, efter hundratals försök från migranter att bryta sig in i tunneln under Engelska kanalen.
På lördagen arresterades 18 misstänkta illegala invandrare efter att en lastbil stoppades på M1 i Hertfordshire.
Hammond sade vidare att mer kunde göras för att skydda tunneln under Engelska kanalen mot olagliga invandrare.
"Efter att ha granskat situationen mot bakgrund av krisen står det klart att det finns mer som kan göras för att förbättra tunnelns fysiska säkerhet.
– Men vi måste också samarbeta med våra franska kolleger för att försöka ta itu med grundorsaken till problemet. Så länge det finns ett stort antal ganska desperata invandrare som plundrar runt i området kommer det alltid att finnas ett hot mot tunnelns säkerhet."
Ett nytt stängsel cirka en mil lång, byggt för att hindra migranter från att komma till Storbritannien via tunneln under Engelska kanalen, har byggts i Calais och betalades för av Â£7m görs tillgängliga av den brittiska regeringen.
Europa kommer inte att kunna bevara sin levnadsstandard om det måste absorbera miljontals migranter från Afrika, sade utrikesministern.