Nebelong var elev av arkitekt G.F. Hetsch og fikk sin utdannelse på Kunstakademiet. Her vant han i 1833 den lille og i 1837 den store gullmedalje, sistnevnte for oppgaven. Etter å ha virket som lærer ved Akademiet i flere år, foretok han en utenlandsreise som kom til å vare i over 3 år. I 1846 vendte han tilbake til København, hvor han i 1863 først ble konstituert og året etter fast ansatt som statsbyggmester. 1864 fikk han tittel av justisråd.