，小马肯森于1908加入德国陆军。第一次世界大战时，他是个中尉，1915年战伤转往参谋官负责谋略，一战结束后他续留在军中，1934年升为上校，1935年被任命德国第10军参谋长，1937年担任装甲旅旅长，1938年升为少将，1939年担任威廉·李斯特上将部队参谋长。
第二次世界大战.当初担任德国第14军团参谋长，于1939年9月谋略进攻波兰，接着转任德国第12军团参谋长，谋略法国战役 (二战)，1940年1月1日晋升为中将，8个月后又升官为骑兵上将，1941年1月升任东战场德国