Albrecht von Kessel var sønn av riddergodseieren Kurt von Kessel. Han tok sin skolegang frem til 1921 i Klosterschule Roßleben i Thüringen, der han knyttet nære vennskapsbånd med Peter Graf Yorck von Wartenburg og Ulrich-Wilhelm Graf von Schwerin von Schwanenfeld. Han studerte jus i München og Breslau fra m 1922 til 1926.