Stilling bodde hos morfaren de første årene av barndommen og kom deretter på skole i København. Etter konfirmasjonen begynte han i murerlære. Som svenn arbeidet han fortsatt noen år med sitt håndverk, men tegnet i tillegg på vinteren, i Kunstakademiets bygningsskole og hos G.F. Hetsch, som i 1838 foreslo han som midlertidig lærer ved søndagsskolen med 50 Riksbankdaler om året. Da N.S. Nebelong snart etter reiste utenlands ble Stilling medhjelper ved Hetschs` private tegneskole og sluttet helt å praktisere som murer. Allerede i 1838 hadde han vunnet en pengepremie i ornamentfaget og besøkte Akademiets frihåndstegneskoler, i 1839 vandt han premien for en ornamenttegning igjen og i desember samme år den lille sølvmedalje på Bygningsskolen.