Scavenius forberedte seg tidlig på en karriere i søværnet og påmønstret i 1891 som frivillig lærling krysseren «Ingolf». Han fortsatte deretter som sjøkadettaspirant på kadettskipet «Dagmar», men strøk i 1894 ved opptaksprøven til søofficersskolen. Herom uttalte han seg med tydelig bitterhet mer enn seksti år senere i et filmet intervju. Saken var at hans foresatte lot ham dumpe ved å gi ham en lav karakter i «Forhold om bord», som tildeles av sjefen etter skjønn uten nærmere begrunnelse.