郭淮举孝廉，为平原府丞。曹丕为五官中郎将时，召郭淮署为门下贼曹，后转为丞相兵曹议令史。
重整军势.215年，郭淮随曹操征讨汉中。曹操回军后，留夏侯渊守汉中，而郭淮为夏侯渊的司马。218年，刘备进攻汉中。次年正月，刘备军的将领黄忠在定军山击败并斩杀大将夏侯渊，曹军大败，退守阳平关东。郭淮因病，未参加此战。夏侯渊战死后，郭淮收集夏侯渊残兵，曹军无主，三军慌乱。郭淮和杜袭收敛散卒，推举张郃为主帅，皆已渐渐稳得局面，并协助他成功据守汉水，刘备退回。不久，曹操让张郃假节，以郭淮为张郃司马