Som sønn av Sveaborgs arkitekt Augustin Ehrensvärd, vokste han opp på dennes festningsøy utenfor Helsingfors i Finland, der han i forbindelse med sin militærutdannelse også ble undervist av faren og av kunstneren Elias Martin.