Michael Gove och Boris Johnson sade att löftet var "korrosivt för allmänhetens förtroende" medan Storbritannien stannade kvar i EU.
Men nummer 10 sade att deras påstående var ett "försök att distrahera" från det faktum att en EU-utresa skulle vara "olustig".
Det kommer mitt i den växande turbulensen i Tory över EU, där vissa parlamentsledamöter hotar med en utmaning för ledarskapet efter folkomröstningen.
Samtidigt har en undersökning av ekonomer visat att nio av tio av dem som svarade tror att det skulle vara skadligt att lämna EU.
Det är mindre än fyra veckor kvar tills Storbritannien beslutar sig för att stanna kvar i eller lämna Europeiska unionen den 23 juni.
John Pienaar: Tory divisionen trappas upp
EU-omröstning: Allt du behöver veta
Frågor guide: Utforska argumenten
Invandring är ett av de viktigaste slagfälten i folkomröstningsdebatten - och det är fokus i ett öppet brev till David Cameron, som publicerades i Sunday Times, av Gove och John Johnson, som säger att regeringens löfte att få migrering under 100.000 var ouppnåeligt.
Nettomigrationen - skillnaden mellan antalet personer som kommer till Storbritannien under minst ett år och antalet som lämnar landet - ökade till 333 000 år 2015, enligt beräkningar från Office for National Statistics.
Den enda nettoinvandringen inom EU uppgick till 184.000, vilket motsvarar rekordhöga siffror och 188 000 för länder utanför EU.
Denna fråga omfattar invandring och fri rörlighet inom Europa.
Johnson och Gove sade: "Vid valen lovade man upprepade gånger att nettoinvandringen skulle kunna minskas till tiotusentals.
"Detta löfte är helt klart inte möjligt så länge Storbritannien är medlem i EU och underlåtenheten att hålla det är frätande för allmänhetens förtroende för politiken."
De sade också att de var "särskilt oroade över den fria rörlighetens inverkan på de offentliga tjänsterna i framtiden".
"Klassstorlekar kommer att höja och väntelistorna kommer att förlängas om vi inte tar itu med den fria rörligheten", skrev de.
Som svar på brevet sade nummer 10: "Detta är ett öppet försök att distrahera från det faktum att den överväldigande majoriteten av ekonomer och företag anser att det skulle vara katastrofalt att lämna den inre marknaden för arbetstillfällen, priser och möjligheter för människor."
Av John Pienaar, biträdande politisk redaktör
Brexiters påpekar att EU:s öppna gränser gör invandringskontrollen omöjlig.
Dess effekt är dock att påskynda en nedstigning i den inre krigföringen som nu hotar att göra de konservativa ostyrbara om folkomröstningen slutar i något annat än en avgörande seger för kampanjen Återstående.
Så bitter har konflikten blivit, så spänd spänningen mellan de rivaliserande fraktionerna, att arga EU-skeptiker Tories talar privat om att utmana premiärministerns ståndpunkt även om Storbritannien röstar för att stanna kvar inom Europeiska unionen.
Läs mer från John Pienaar
Raden om migrationsmålet kommer i takt med att de konservativa striderna om EU:s folkomröstning intensifieras.
David Cameron och de flesta av hans kabinett kämpar för att en röst ska stanna i EU, men ungefär hälften av hans parlamentsledamöter stöder en utresa.
Konservative Leave-kampanjen Andrew Bridgen berättade för 5 live's Pienaar's Politics att så många som 50 Tory parlamentsledamöter var redo att stödja en misstroendevotum i premiärministern över hans hantering av debatten.
"Om det blir en liten omröstning... Jag tror att det förmodligen skulle finnas 50 kolleger som skulle vara mycket missnöjda med premiärministerns prestation," MP sade.
En parlamentsledamot, Nadine Dorries, sade att hon redan hade skickat ett brev till Graham Brady, ordförande i Tory-utskottet 1922, där hon krävde en misstroendeomröstning i Cameron om han förblev trångt vunnen.
På ITV:s Peston på söndagen anklagade hon David Cameron för "rättframa lögner" över EU och sade tillit till honom och George Osborne, den pro-Remain kanslern, "har fullständigt krossats".
Men före detta ministrar och lämna kampanjledare Liam Fox och Iain Duncan Smith spelade ner utsikterna till en kupp, och insisterade på att de skulle vilja att Mr Cameron att stanna kvar som ledare.
På BBC:s Andrew Marr-show sade Fox att folkomröstningen inte får förvandlas till en intern debatt om Tory-partiet.
Även när det gäller Marr, före detta premiärminister Tony Blair i Labour, som stöder Remain, varnade han för att det inte skulle lösa migrationsproblemen att lämna EU.
"Om man faktiskt bryter ned siffrorna om EU:s migration kommer många av dessa personer in på korttidskontrakt och sedan kommer tillbaka ut igen. Många av dessa personer arbetar inom viktiga offentliga tjänster.
"Och vi får också förmånen. Anledningen till att vi kan resa runt i Europa, utan restriktioner, är på grund av den fria rörligheten för människor, sade han.
Ex-Lib Dem Business Sekreterare Vince Cable sade att allmänhetens förtroende hade korroderats av regeringens underlåtenhet att skära invandring, och sade att det var ett "dåligt" mål för de konservativa att ha satt.
"Man kan inte direkt kontrollera nettoinvandringen i en marknadsekonomi. Det är inte bara fri rörlighet för arbetskraft i Europa, vi kan inte kontrollera emigrationen," sa han till Radio 4's The World This Weekend.
Förre konservative premiärministern Sir John Major kritiserade kampanjen Voice Leave in the Mail på söndagen för "de felaktigheter och osanningar som de peddrar på det brittiska folket".
Han sade att kampanjen "Leave" fokuserar på att "uppmuntra rädsla" snarare än att "ge ut fakta" om invandringen var "distastektfull".
David Cameron måste acceptera misslyckandet med regeringens manifest löfte om att minska migrationen till Storbritannien, två ledande parlamentsledamöter har sagt.