I Bukarest bröt några demonstranter igenom polislinjen och gick mot regeringsbyggnader.
Premiärminister Sorin Grindeanu säger att flytten skulle underlätta överbeläggning i fängelser.
Hans kritiker säger att han försöker frige allierade som dömts för korruption.
De vill också att förslagen skall debatteras i parlamentet.
Grindeanus plan är att de åtgärder som ska genomföras genom nöddekret som kringgår parlamentet och inte kräver att president Klaus Iohannis undertecknas.
Bland dem som skulle behöva friges finns flera valda tjänstemän och domare som dömts för korruption.
President Iohannis anslöt sig till demonstranterna i Bukarest på söndagen och sade att de med rätta var upprörda.
"Flera politiska tjänstemän som har rättsliga frågor vill ändra lagstiftningen och försvaga rättsstatsprincipen", sade han.
"Det är oacceptabelt att ändra lagen så att fall av dussintals, även hundratals, politiker, utplånas."
President Iohannis valdes i november 2014 och har lovat att utrota inrotad korruption.
Ordföranden för de styrande socialdemokraterna, Liviu Dragnea, anklagade dock presidenten för att "uppmana till social oordning och våld" och sade att protesten var början på en statskupp.
En före detta minister, Dragnea själv fick ett uppskjutet fängelsestraff 2015 för att använda mutor och förfalskade röstsedlar för att påverka en åtalsomröstning 2012 mot dåvarande president Traian Basescu.
Tiotusentals människor har tagit sig ut på gatorna i den rumänska huvudstaden Bukarest och andra städer i protest mot regeringens planer på att frige omkring 3.000 fångar.