Ellemann-Jensen ble i 1960 student fra Birkerød Statsskole. Han var deretter vernepliktig og ble premierløjtnant av reserven ved Kronens Artilleriregiment.