本外务大臣时主导与中华人民共和国建交，并宣布原与中华民国签署的《中日和约》失效。参与三木内阁时代的倒阁行动，与福田赳夫有政权交接的密约。福田当选以后，大平被委为自民党干事长。1978年末，大平被选为日本自由民主党（自民党）的总裁，并于12月7日继任福田赳夫成为内阁总理大臣（首相）。他的大平派与田中角荣的田中派合作，得以维系政权。但也因田中角荣的金权政治问题来引来排山倒海的攻击。在1979年的众议院选举中，自民党以些微差距失去了众议院过半数议席的地位，以福田派为首的非主流派策动四十日抗争，要求大平负责