En traktor drog upp utanför byggnaden, i Morledge, vid 07:10 GMT och deponerade smuts, sade polisen.
En not kvar i det övergivna fordonet sade att åtgärden var en "personlig protest mot det allvarligt bristfälliga rättssystemet".
Den 49-årige mannen greps misstänkt för brottslig skada och släpptes senare mot borgen.
Uppdateringar om denna berättelse och mer från Derbyshire
Anteckningen i traktorn löd: " Vad synd att behöva ta till detta, i dag är en personlig protest mot det allvarliga bristfälliga rättssystemet som konsekvent har underlåtit att lyssna till enkla sanningar och förnuft.
"Ledsen för eventuella olägenheter som orsakas (för allmänheten)."
BBC Radio Derby reporter Nigel Cash sade: " Högen omedelbart bakom trailern är förmodligen ett par meter hög och ett par meter bred.
"Det ser ut som om den som har dumpat det där avsiktligt har spridit ut det."
Polisen tog bort traktorn och spridaren efter några timmar.
De sa att mannen frigavs medan deras utredning fortsätter och att de "samrådde med kronåklagaren".
Alla som bevittnade händelsen eller har fått information har blivit ombedda att kontakta polisen.
En man har blivit arresterad och frigiven efter att Muck spreds över Derbys krondomstol.