Keith Bristow sade att det var "inte realistiskt" att förvänta sig att alla de uppskattningsvis 50.000 människor i Storbritannien som har tillgång till missbruksbilder skulle ställas inför rätta.
Han sa att polisen måste fokusera på dem som utgjorde den största risken.
Labour kallade det "förargligt", och tillade att den nationella konkurrensmyndigheten inte var lämpad att ta itu med problemet. Inrikesdepartementet sa att alla brott borde utredas.
Omkring 660 gripanden gjordes under en operation som nyligen riktades mot människor som hade fått tillgång till bilder på övergrepp mot barn på nätet.
BBC förstår dock att så många som 20 000-30 000 personer som en del av undersökningen identifierades som potentiella gärningsmän.
Child Exploitation and Online Protection Centre (Ceop) - en del av den nationella konkurrensmyndigheten - har uppskattat att 50.000 personer i Storbritannien är involverade i att ladda ner och dela bilder av övergrepp mot barn.
"Det är obekvämt eftersom... vi vill se dessa människor i det straffrättsliga systemet," NCA generaldirektör Mr Bristow sade.
"Men enligt min bedömning, om det är 50.000 människor inblandade, kommer vi inte att kunna identifiera dem alla och vi kommer inte nödvändigtvis att kunna ställa dem alla inför rätta."
Han sade att byråns prioritet var att koncentrera ansträngningarna på "de farligaste människorna" och de mest benägna att utföra fysisk misshandel.
Men kampanjdeltagarna pekade på en koppling mellan att få tillgång till missbruksbilder och att "kontakta kränkande".
En Ceop-rapport från 2012 visade att de som hade bilder på övergrepp mot barn bör betraktas som en risk för barn.
Tom Symonds, kontaktperson för inrikes frågor i BBC
Det är ett ärligt erkännande, som det skulle ha varit lättare att inte göra.
Men det står klart att polisstyrkor och experter på övergrepp mot barn har att göra med en flod av potentiella bevis - delvis ett resultat av allt mer sofistikerade program som kan upptäcka det digitala fingeravtrycket på otillåtna bilder på nätet.
Konsekvensen är att polisstyrkorna och de nationella konkurrensmyndigheterna måste se över sina fall för att avgöra var omedelbara åtgärder behövs för att skydda barn, de där mer tid kan tas och de som helt enkelt måste lämnas kvar i registret.
Detta medför uppenbara risker. En misstänkt som har sett oanständiga bilder på nätet men hittills inte gjort något kränkande i den "riktiga världen" kan förolämpa vid ett senare tillfälle.
Keith Bristows kommentarer - vid en genomgång för specialiserade reportrar - innehöll inte ett krav på mer resurser.  Det råder inget tvivel om att andra kommer att ta upp dessa tyglar.
Den nationella konkurrensmyndigheten sade i juli att de 660 arresteringar som gjordes som en del av Operation Notarise omfattade lärare, medicinsk personal, före detta poliser, en socialarbetare och en scoutledare.
Några av de misstänkta pedofilerna hade terabyte - motsvarande 1.000 GB - värde av data på sina hårddiskar eller lagringsenheter.
Herr Bristow sade att den "mest riskfyllda" skulle riktas först.
Han sade att det skulle finnas ett "omfång av ingripanden" som för vissa av förövarna skulle kunna falla utanför dem "som står i en domstol".
En nationell konkurrensmyndighets talesman sade att det inbegrep förebyggande åtgärder och gjorde det möjligt för ungdomar att skydda sig själva på nätet – som att blockera sökvillkor och störa anonym webbsurfning.
NCA vice generaldirektör Phil Gormley sade: "Inte varje tittare kommer att fortsätta att vara en kontakt missbrukare," tillägger att ytterligare forskning krävdes.
"Vi behöver en mycket mer nyanserad, mycket mer hållbar inställning till detta och vi måste konfrontera några riktigt obehagliga och hemska sanningar om den mänskliga naturen."
NSPCC sade NEC: s ingripande avslöjade "en obekväm sanning om de svåra beslut officerare möter dagligen i att identifiera och förfölja lagöverträdare".
Strategichef Jon Brown sade: "Regeringen måste göra hanteringen av denna avskyvärda handel till en prioritet i den finansiering som är tillgänglig för den nationella konkurrensmyndigheten och på lokal nivå.
"Det finns tydliga kopplingar mellan att komma åt detta material och att störa kontakten."
Jim Gamble, som avgick som chef för Ceop 2010, sade: "Ska vi säga för att det är för många vi inte kan göra det?"
Han tillade att det var "skumt" herr Bristow var tvungen att "komma ut och framföra detta hårda men ärliga budskap".
"Och skammen hör hemma hos [Home Secretary] Theresa May som inte har investerat - som inte har levererat något utöver retorik för att göra saker och ting bättre för barn där internet är inblandade", sade han.
Peter Garsden, ordförande för föreningen för barnmisshandelsadvokater, sade att bristen på resurser var en del av problemet.
"Regeringen lägger nu skulden på polisen, medan problemet faktiskt ligger i inrikesministeriet eftersom polisen helt enkelt inte har tillräckligt med resurser för att se och åtala alla bilder som nu kommer ut ur detektionssystemet", sade han.
Labour anklagade regeringen för att presidera över en politik där "den stora majoriteten" av dem som laddar ner bilder på övergrepp mot barn "inte utreddes".
"Självklart behöver de leta först efter de farligaste fallen, men det verkar som de flesta fall inte undersöks alls," skuggföredragande Yvette Cooper sade.
"Theresa May skapade National Crime Agency... men det är tydligt nu att den nationella konkurrensmyndigheten helt enkelt inte är lämplig för att hantera omfattningen och allvaret i detta problem."
Inrikesministeriet sa: "Vi är tydliga med att alla brott bör utredas", tillade att regeringen var "fast besluten att utrota" vad som var ett "påfallande brott".
En talesman sade att den nationella konkurrensmyndigheten hade skyddat eller skyddat mer än 1000 barn, vilket gjorde 706 gripanden.
Vissa pedofiler med bilder av barnmisshandel kommer att undgå åtal, har chefen för den nationella brottsmyndigheten sagt.