Man vet lite om hans ungdom og kunstneriske utdannelse. Som kongelig byggmester ble Ernst i 1696 sendt til Stockholm for å arbeide under slottsarkitekt Nicodemus Tessin den yngre. Senere hentet han hjem en modell av et nytt og stort slott for Christian V. Slottet var planlagt utført på grunnen til det nedbrente Sophie Amalienborg slott, men dette ble aldri realisert.