向利用帷幄上奏权向天皇奏上辞呈。西园寺为此事与山县有朋面谈，由于山县拒绝推举新的陆军大臣。结果受制于军部大臣现役制（即陆、海军大臣需要为现役军人，职级为大将、中将，需要所属军部的推荐），第二次西园寺内阁于大正元年（1912年）12月21日倒台。桂太郎，与心腹若槻礼次郎一起到欧洲视察政党政治，回国后成立第三次桂太郎内阁成立。桂园时代至此结束。