月袁世凯掌权后，伍廷芳离职，再寓居上海。1916年6月6日袁世凯死后，黎元洪继任为总统。伍廷芳出任段祺瑞总理政府的外交总长。1917年发生「府院之争」，伍廷芳反对加入协约国，并提出辞职，段祺瑞被黎元洪解除职务后，伍廷芳一度出任代理国务总理。后来黎元洪迫于张勋的压力，要伍签署解散国会的命令，伍拒绝，辞职。应孙中山的号召，南下广州，出任护法军政府的外交部部长。1919年，任广东省省长及后一路追随孙中山。1921年孙中山于广州就任非常大总统，伍任外交部部长，兼财政部部长、广东省省长；更曾一度任代行非常大总统。