Von Januar bis Mai 1941 war Greiffenberg Chef des Generalstabs der 12. Armee, mit der er am Balkanfeldzug teilnahm. Hierfür erhielt er am 18. Mai 1941 das Ritterkreuz des Eisernen Kreuzes. Anschließend wurde er zum Chef des Generalstabs der Heeresgruppe B, wenig später umbenannt in Heeresgruppe Mitte, unter Generalfeldmarschall Fedor von Bock ernannt, mit der er am Überfall auf die Sowjetunion teilnahm. Im April 1942 verließ er diesen Posten, um sich als Generalstabschef des „Stab Anton“ bzw. „Küstenstab Asow“ auf die geplante Sommeroffensive vorzubereiten. Gleichzeitig wurde er zum Generalleutnant befördert. Bei der Aufstellung der Heeresgruppe A am 7. Juli 1942 war er Generalstabschef dieser Heeresgruppe, die unter dem Befehl von Generalfeldmarschall Wilhelm List stand und im Rahmen des „Falls Blau“ in den Kaukasus vorstoßen sollte. Im Juli 1943 wurde er von diesem Posten abberufen und in die Führerreserve versetzt.