但馬出石出身で対馬藩出入りの商人広戸甚助の協力で、小五郎は出石に逃げのびた。出石では広戸家の親戚宅や檀那寺である昌念寺や養父市の西念寺などを転々とし、さらには城崎まで避難することもあったという。城崎では宿の娘たきとの間に子ができたが流産したと伝えられる。出石では広戸家の親戚の家を借り、「広江屋」の商号で荒物屋を営みながら、甚助の妹すみと夫婦を偽装して暮らしていた。この時にすみ(あるいはみねと称される)との間にできた子が木戸忠太郎とする説は、後に否定されている。忠太郎の実母は木戸松子の妹・信で、実父は松本順造である。小五郎は、甚助を長州藩への使いに出し、大村益次郎に居場所を知らせた。小五郎の居場所は、大村のほか伊藤博文と野村靖のみが知る極秘事項とされた。高杉晋作は大村宛に「桂小の居所は、丹波にてござ候や、但馬にてござ候や、また但馬なれば何村何兵衛の所にまかりあり候や」と手紙を書いて、小五郎の居場所を尋ねている。大村や野村は、小五郎に手紙を出し、藩の内外の状況を知らせるとともに、すぐに帰藩するよう伝えている。第一次長州征討.朝敵となって敗走した長州藩に対し、さらに第一次長州征討が行われようとした時点で、長州正義派は藩政権の座を降りた。不戦敗および三家老の自裁、その他の幹部の自決・処刑という対応で藩首脳部は責任を取った。国泰寺の会談において長州藩を代表した吉川経幹を前にして永井尚志は質疑をしていたが、途中で手帳を出すと名前を確認しながら「桂小五郎と高杉晋作はどこにいるのか」と尋ねた。吉川は死にましたと返答をしてこの件は処理された。薩長同盟.第二次長州征討.長州藩の武備恭順や大村益次郎たちによる秘密貿易を口実として、幕府側(会津藩・新撰組)は第二次長州征討(四境戦争)を強行してくる。