年（1165年）允文被召回临安，任参知政事（职事官，副宰相，正二品）兼知枢密院事（职事官，正二品），干道三年（1167年），因爲抗金名将吴璘病逝，虞允文被任爲四川宣抚使兼知枢密院事，拜资政殿大学士（职，正三品），以接替吴璘的职务。他治川时积极整顿正规军和民兵，并减缩军费开支。他于干道五年（1169年）八月拜右仆射加同中书门下平章事（职事官，宰相，正一品）兼枢密使（职事官，从一品），大力提拔贤良之士，如：胡铨、周必大、王十朋、赵汝愚、晁公武、李焘等人。干道八年（1172年）二月授特进（文阶，第二阶，从一品）、