Rett før krigsutbruddet ble Heusinger forfremmet til oberstløytnant og noe senere til oberst. Generalstaben ved OKH fungerte som Tysklands generalstab og fra 15. oktober 1940 var han sjef for operasjonavdelingen, og slik sett ansvarlig for den strategiske og operative ledelsen av de ulike hærenhetene og var den tredje høyeste planleggingstillingen innen hæren, nest etter generalene Franz Halder og Friedrich Paulus. Han var sentral i planleggingen av Operasjon Weserübung og felttoget i Frankrike.