1937年，即鲍德温第三度任首相期间，面对欧洲政局日益不明朗，他未有加以制止纳粹德国违约扩军而遭受广泛的谴责，后来更有不少人认为他要为第二次世界大战之爆发负责。与此同时，鲍德温任内又爆发了英皇爱德华八世的退位风波，在退位风波完满解决后，他决定在新任君主乔治六世举行登基大典后提早退休，结束14年执政。退休后，鲍德温在1937年6月8日获册立为布由德利的鲍德温伯爵。
晚年.鲍德温退休后没有再活跃于政坛，随着亲密盟友、其接班人内维尔·张伯伦1940年去世，鲍德温同样被舆论认定他在战前是绥