Han var først bestemt for Marinen, blev søkadet og ansattes desuden som page hos Arveprins Frederik. Men faderen forandrede tanke og besluttede, at han skulle studere. Allerede seksten år gammel sendtes han derfor til sin halvsvoger August Hennings i Plön, hos hvem han fik en udmærket videnskabelig og social opdragelse, og for hvem han altid senere bevarede stor hengivenhed og erkendtlighed. Sine således i Holsten begyndte studier fuldendte Krabbe ved universitetet i Kiel. I 1794 sendtes han som legationssekretær til Dresden, hvor også Hennings i sin tid havde været ansat; der fra gik han 1798 i samme egenskab til Stockholm. I 1804, da hans chef, Otto Blome, forflyttedes til Sankt Petersborg, fulgte han med ham og forblev der, til krigen udbrød. Efter at freden med Sverige var sluttet, akkrediteredes Krabbe som gesandt i Stockholm 6. maj 1814.