Labour MP Yvette Cooper sade att det inte var "lämpligt" eller "statsliknande" för honom att använda ett sådant språk om en "komplex och känslig" fråga.
Skuggminister Kate Green sa att det var "offensivt, skadligt och splittrande".
David Cameron sade att arbetsledaren Jeremy Corbyn hade sagt till migranterna i lägret att "de alla kunde komma till Storbritannien".
Under helgen besökte Labourledaren lägret Grande-Synthe, nära Dunkerque, och Jungle i Calais, där mer än 7.000 människor sover hårt och beskriver förhållandena där som "förvanskade".
Jeremy Corbyn hade en bra chans på David Cameron över Google tax deal, med hjälp av en crowd-sourced fråga från Jeff (eller möjligen Geoff), som ville veta om han kunde gå med i ett system som tillåter honom att betala samma skattesats som internet jätten.
Men några kommentatorer kände att arbetarledaren tappade fokus när han bytte till andra ämnen för sina två sista frågor.
"Vi har inte fått något svar på Google, och inga svar på Jeff", sade Corbyn, innan han vänder sig till vad han kallar "sovrumsskatten" och en High Court dom att det är "diskriminerande". För sin sista fråga uppmanade han statsministern att inleda en undersökning om vapenexportlicenser till Saudiarabien bland FN:s rapporter om koalitionsflyganfall mot civila i Jemen.
Premiärministern svarade på den sista punkten genom att säga att Storbritannien hade några av de strängaste reglerna för vapenexport i världen. Han tillade att Storbritannien inte var "en del av saudiarabiska operationer" i Jemen.
Men det var en av de veckor då reaktionen på vad som sades på PMQs överskuggade allt som sades under sessionen, som Labour grep på Mr Camerons "bunch of migrants" kommentar.
Cameron var på väg till slutet av en konflikt med Jeremy Corbyn om Googles skatteavtal med regeringen, när han, som han ofta gör, beslutade att bredda sin attack till andra frågor.
Labourledaren hade just anklagat honom för att inte stå upp mot Google.
Kenneth Cameron svarade: "Skuggkanslerns påpekande - tanken på att de två rätta herrarna skulle stå upp mot vem som helst i detta avseende är skrattretande.
"Titta på protokollet under den senaste veckan - de träffade fackföreningarna och de gav dem flygande pickets.
"De träffade argentinarna, de gav dem Falklandsöarna.
"De träffade ett gäng invandrare i Calais, de sa att de alla kunde komma till Storbritannien.
"De enda människor de aldrig står upp för är det brittiska folket och hårt arbetande skattebetalare."
Flera parlamentsledamöter från Labour motsatte sig Camerons kommentarer om "migranter" på Twitter och beskrev dem som "skamfulla" och "inflammatoriska" och statsministern som "odiska".
En talesman för Labour sade att Cameron använde uttrycket "visar en inställning som är helt oacceptabel för en humanitär kris på vår tröskel".
Yvette Cooper, som är ordförande för Labours flyktinggrupp, sade att Cameron borde använda "mycket mer statsmannaliknande" språk i en sådan "komplex och känslig" fråga, särskilt med tanke på de pågående åminnelserna av förintelseoffer.
Hon reste sig direkt efter premiärministerns frågor för att ta upp en ordningsfråga.
Hon bad Commons talman John Bercow att be Cameron att "dra tillbaka" kommentaren.
Herbert Bercow sade till Cooper: " Ni talar med enorm erfarenhet här i kammaren och jag respekterar vad ni säger.
"Jag känner fullständigt igen mig i era observationer om Holocaust Memorial Day, som du och jag vid andra tillfällen har markerat vid händelser tillsammans – så jag tar det ni säger på största allvar."
Han slog fast att det inte var "oordning" eller "oparlamentariskt" utan tillade att "människorna kommer att göra sina egna bedömningar av denna fråga".
Premiärministerns talesman sade att regeringen hade spenderat 1,2 miljarder pund för att hjälpa hundratusentals flyktingar i läger i regionen och han sade Labours strategi skulle "öppna dörren och ge ett incitament för mer att komma till Calais".
Frågade om han ansåg att frasen "migranters bunch" var nedsättande sa talesmannen att "premiärministern tycker att det viktigaste här är att få politiken rätt".
Kenneth Cameron anklagades av vissa motståndare för att använda frasen "migranter" för att distrahera uppmärksamheten från kritiken mot Google-avtalet.
Men detta avfärdades som "silt och spelar billig politik" av småföretagarminister Anna Soubry
Hon berättade för BBC Radio 4's The World at One att Cameron hade använt "vanligt folks språk", och tillade "vi alla använder slang" i stundens hetta.
David Cameron insisterade på att han har gjort mer än någon annan premiärminister för att slå ner på aggressiv skatteflykt och skyllde på Labour för misslyckanden med att samla in skatter från stora multinationella företag.
Corbyn hävdade att Google betalade en effektiv skattesats på 3 procent - och anklagade regeringen för att skicka ut blandade budskap, där förbundskansler George Osborne inledningsvis beskrev affären som en "stor framgång" innan nr 10 rodde tillbaka och kallade den ett "steg framåt", medan, sade han, London borgmästare Boris Johnson betecknade den som "deseri".
Kenneth Cameron fortsatte sedan med att förklara de åtgärder som regeringen har vidtagit för att ta itu med skatteflykt och skatteundandragande innan man hävdar att skattesatsen för Google enligt Labour var "0".
Corbyn pekade också på en rad möten som Google hade med regeringsministrarna.
"Miljontals människor är denna vecka fylla i sina skattedeklarationer för att få in dem vid 31: a", sade han.
"De måste skicka tillbaka blanketten, de får inte möjlighet till 25 möten med 17 ministrar för att bestämma sin skattesats.
"Många människor som går till sina HMRC-kontor eller returnerar dem online denna vecka kommer att säga: "Varför finns det en regel för stora multinationella företag och en annan för vanliga småföretag och egenföretagare?"
Kenneth Cameron avfärdade kritiken genom att inleda en attack mot allt som Labour inte stod upp för, inklusive migranter.
För det första: George Osborne riskerade lät alldeles för nöjd när han hyllade affären som en "seger" och en "stor framgång". Regeringens talesmän var ovilliga att upprepa hans dom.
För det andra: Labour reagerade snabbt och lyckades få till stånd en utfrågning. Deras budskap lät högre än deras interna dispyter, för en gångs skull.
För det tredje: väljarna bryr sig. Uppfattningen internationella företag får en bättre affär än vanliga människor är giftig.
HMRC uppbär skatt, inte ministrar, och regeringen säger att den har agerat och fått resultat där Labour inte gjorde det.
Men få politiker har någonsin fångat stämningen i en nation förklara sig nöjda med en stor företags skattedeklaration.
Cameron inledde premiärministerns frågor med att tillkännage att ett "strikande" minnesmärke över offren för nazistiska grymheter ska uppföras bredvid parlamentet, i Victoria Tower Gardens, där ett antal monument redan står.
Downing Street sa att en internationell designtävling kommer att lanseras under de kommande veckorna och minnesmärket byggdes i slutet av 2017.
"Det kommer att stå bredvid parlamentet som ett permanent uttalande om våra värderingar som en nation och kommer att vara något för våra barn att besöka i generationer framöver", sade David Cameron.
"Det är rätt att hela vårt land ska stå tillsammans för att minnas mänsklighetens mörkaste stund."
SNP utmanade återigen premiärministern att hjälpa de kvinnor som föddes på 1950-talet, som påverkades av pensionsutjämning, med partiets ledare i Westminster med hjälp av båda sina frågor för att trycka på punkten.
Han uppmanade David Cameron att respektera ett parlamentariskt beslut att omedelbart införa övergångsbestämmelser för de kvinnor som påverkats negativt (omröstningen var inte bindande och tvingar inte ministrarna att agera).
Kenneth Cameron tog inte upp frågan direkt, men hävdade att införandet av en pension på 155 pund i veckan skulle göra slut på diskrimineringen eftersom "så många kvinnor som går i pension kommer att få så mycket mer i sin pension".
Den liberaldemokratiska ledaren Tim Farron garanteras en fråga på PMQs varje månad och han utnyttjade sitt senaste tillfälle att uppmana premiärministern att göra mer för att lindra den flyktingkris som Europa står inför.
"Det enda sättet att utmana en kris av den storleksordningen är att börja arbeta med våra europeiska kolleger i hjärtat av ett enat Europa", sade han.
Han uppmanade Cameron att "välkomna in och tillhandahålla ett hem" till 3 000 ensamkommande barn enligt rekommendationerna från kampanjdeltagarna.
Som svar sade David Cameron att inget land i Europa hade varit "mer generöst" när det gäller att stödja flyktingläger i Mellanöstern, men Storbritannien skulle inte delta i EU:s omplacerings- och vidarebosättningsprogram eftersom det inte ligger i dess nationella intresse.
David Cameron är inför Labour samtal för att be om ursäkt för att kalla flyktingar på ett läger i Calais "ett gäng invandrare" på premiärministerns frågor.