Det kommer som Cahuzac medgav att han hade ett utländskt bankkonto.
Ex-minister hade hittills nekat till en rapport från den undersökande webbplatsen Mediapart att han hade ett odeklarerat schweiziskt bankkonto fram till 2010.
Cahuzac - som fick rykte om sig att vara en högljudd korsfarare mot användningen av utländska skatteparadis - slutade i mars.
Cahuzac sade att han gjorde antagningen om bankkontot under ett möte med utredande domare på tisdag.
I ett uttalande sade han att han hade omkring 600.000 euro (509 000 pund; 770,00 dollar) på kontot.
Han bad också om förlåtelse från Frankrikes president Francois Hollande och hans tidigare regeringskolleger.
"Jag fastnade i en spiral av lögner och förlorade min väg. Jag är förkrossad av skuld, sade uttalandet, citeras av AFP nyhetsbyrån.
"Det var ett outsägligt misstag att tro att jag kunde undvika att konfrontera ett förflutet som jag ville tänka på bakom mig. Jag kommer nu att möta denna verklighet med all öppenhet," sade uttalandet.
Cahuzac hade tidigare insisterat på att han inte hade gjort något fel. Han var plastikkirurg innan han började med politik.
Korrespondenterna säger att skandalen är pinsamt för den franska socialistiska regeringen som har prioriterat kampen mot skatteflykt, eftersom den försöker minska statsskulden.
Den tidigare franska budgetministern Jerome Cahuzac har blivit föremål för en formell undersökning om påstådda skattebedrägerier, har hans advokat sagt.