Con il crollo dell'attività di famiglia, Ashdown ottenne una borsa di studio della marina, ma abbandonò prima degli esami di A-levels e si arruolò tra i Royal Marines nel 1959. Servì fino al 1972 congedandosi col rango di capitano. Servì in Borneo durante il Confronto tra Indonesia e Malaysia e nel Golfo Persico, specializzandosi come sommozzatore e unendosi al gruppo d'élite della Special Boat Section (oggi "Special Boat Service") di cui fu al comando della sezione Estremo Oriente. Nel 1967 si trasferì ad Hong Kong per frequentare un corso da interprete in cinese mandarino, ritornando nel Regno Unito nel 1970, quando gli venne affidato il comando di una compagnia di Royal Marines a Belfast.