Столыпин поставил себе за правило не вмешиваться в иностранную политику. Однако во время Боснийского кризиса 1909 года понадобилось прямое вмешательство председателя Совета министров. Кризис угрожал перерасти в войну с участием балканских государств, Австро-Венгерской, Германской и Российской империй. Позиция председателя Совета министров заключалась в том, что страна к войне не готова, и военного конфликта следует избежать любыми способами. В конечном итоге, кризис завершился моральным поражением России. После описываемых событий Столыпин настоял на увольнении министра иностранных дел Извольского.