后便想改投李矩，李矩也派了外甥郭诵迎接，因兵少而不敢前进，但正遇上由刘琨参军张肇所领，因路阻而无法往长安的五百鲜卑兵，郭诵借助鲜卑兵吓退汉赵兵，成功让郭默突围而出，投奔李矩。随后郭默就与李矩一起对抗北方外族政权。东晋建立后，郭默转任颍川太守。郭默后被后赵石聪攻击，其时郭默就意图向前赵皇帝刘曜投降，但为李矩反对，不过李矩实力转弱，为另一位后赵军官石良所败。后赵屡侵河南更令郭默和李矩缺粮饥馑。郭默遂重提归降之事，终得李矩同意，刘曜亦派了刘岳协助郭默对抗石良，但后赵又派军围攻刘岳，逼其闭城自守，郭默于是为石良