Jonathan Tran, 26 år, befann sig i området i mer än 16 minuter innan han blev häktad, sades det.
Han står nu inför ett maximistraff på 10 års fängelse.
I ett uttalande sade Secret Service att det var "extremt besviken och arg" över händelserna den 10 mars.
Tran kom inte in i Vita huset, där president Donald Trump bodde.
Men kongressledamoten Jason Chaffetz, vars hustillsynskommitté övervakar Secret Service, hävdade att inkräktaren hade lyckats skramla en dörr vid ingången till södra Portico.
Enligt domstolshandlingarna sa Tran till federala agenter att han var en vän till presidenten och hade ett möte.
Han bar två burkar mache, ett amerikanskt pass, en dator och en av Mr Trumps böcker, sade myndigheterna.
Presidenten berömde Secret Service för att ha gjort ett "fantastiskt jobb" när han grep inkräktaren.
Tran hade lyckats klättra en 5ft (1,5m) staket nära den amerikanska finansministeriet, som ligger bredvid Vita huset. Han skalade sedan en 8ft fordonsgrind och ett kortare staket nära Vita husets östra flygel.
CNN rapporterar att han satte igång flera larm efter att ha hoppat på staketet, men lyckades undvika andra sensorer.
Mr Tran, som kommer från Milpitas i Kalifornien, hade enligt uppgift setts "looming runt" Washingtons Pennsylvania Avenue, där Vita huset står, nästan sex timmar före gripandet.
Secret Service sade att det hade vidtagit omedelbara åtgärder för att undvika ytterligare säkerhetsbrister, och att över 50 personer hade blivit intervjuade om händelsen.
Inbrottet var det senaste i en rad överträdelser i Vita huset under de senaste åren.
Säkerheten har förbättrats. Under 2015 installerades vassa spikar ovanpå det svarta järnstängslet som omger fastigheten.
Den amerikanska Secret Service har släppt nya detaljer om förra veckans White House staket-hoppning incident, där en inkräktare upptäcktes bara steg från huvudbyggnaden.