天正12年（1584年）、徳川家康の次男秀康が豊臣氏の人質として大坂に向かう際に、兄康長（三長）と共に扈従して、小姓・勝千代として秀康に仕えるようになった。翌年、父数正が家康の元から出奔したのに伴い、父と兄は豊臣秀吉に仕えるが、康勝が陪臣の身分を脱した時期については不明。まだ若年だったと思われる。文禄元年（1592年）の文禄の役の際に肥前名護屋城に宿直。父の死で遺領の信濃松本藩10万石のうち、安曇郡1万5,000石を分知相続した。350名を率いて朝鮮京城へ出征し、帰朝後の文禄3年（1594年）、伏見城普請を分担。慶長5年（1600年）の関ヶ原の戦いでは、兄と共に家康の会津征伐に同行してそのまま東軍に与して所領を安堵されているが、徳川秀忠に従って中山道を進み、西軍真田昌幸の上田城を攻撃した第二次上田合戦に加わっていたので、本戦には参加していない。兄に従って徳川家に仕えるが、康勝は豊臣秀頼とも昵近で、慶長18年（1613年）8月18日の豊国祭礼の時には秀頼の代理として参拝している。同年10月25日、兄が領地隠匿を理由に処罰され、それに連座して改易された。慶長19年（1614年）に豊臣方として大坂城に入城。石川家旧臣の多くがこれに従った。大坂の陣では、12月、冬の陣における真田丸の戦いでは、松平忠直隊を砲撃しようとして隊兵が火薬を誤爆させて、康勝自身も負傷した。この騒ぎを聞きつけた徳川方は、南条元忠の内応の合図と勘違いして強襲を開始したが、反撃に遭って撃退された。翌年の夏の陣において、康勝は天王寺・岡山の戦いに出陣。天王寺口で真田信繁隊の寄騎として戦うが、乱戦の中で討死した。
1952年（昭和27年）の第25回衆議院議員総選挙で群馬三区から無所属で立候補し当選、岸信介に仕えた。野田卯一、池田勇人と共に「大蔵省の3田」と呼ばれる。当時は大蔵省出身の国会議員が衆参合わせて24人いた。無所属の福田を除く23人は全て吉田茂・池田勇人の自由党所属だったが、福田は自らこれを「栄えある一議席」と呼んだ。1958年（昭和33年）には当選4回ながら自由民主党政調会長就任。1959年（昭和34年）1月から自民党幹事長を、6月からは農林大臣を務める。1960年（昭和35年）12月、大蔵省の先輩である池田勇人の政権下で、政調会長に就任するが、「高度経済成長政策は両3年内に破綻を来す」と池田の政策を批判、岸派の分裂を受ける形で坊秀男、田中龍夫、一万田尚登、倉石忠雄ら福田シンパを糾合し、「党風刷新連盟」を結成し、派閥解消を提唱するなど反主流の立場で池田に対抗した。これが後に福田派（清和政策研究会）に発展する。池田から政調会長をクビにされ、福田および同調者は池田内閣の続いている間、完全に干し上げられ長い冷飯時代を味わう。佐藤栄作政権下では大蔵大臣、党幹事長、外務大臣と厚遇され、福田の後見人である岸からの強い支持もあって、岸・佐藤兄弟の後継者として大いにアピールできたものの、この時から“ポスト佐藤”を巡る田中角栄との熾烈な闘争（角福戦争）が始まる。日本列島改造論を掲げ、積極財政による高度経済成長路線の拡大を訴える田中に対して、福田は均衡財政志向の安定経済成長論を唱える。また中華民国（台湾）と断交してでも中華人民共和国との日中国交回復を急ぐ田中に対して外務大臣時代にアルバニア決議に反対して「二重代表制決議案」と「重要問題決議案」をアメリカ合衆国などと共同提案したように台湾とのバランスに配慮した慎重路線を打ち出す。佐藤は任期中の国交回復と北京訪問を目指して密使を送り込み、中華人民共和国と中華民国との間で連絡を取っており、総理の座を譲ろうとしていた福田を中華人民共和国側関係者に引き合わせていた。これらの自民党右派のスタンスは岸派以来の伝統で、福田派の後継派閥である清和政策研究会出身の総理である森喜朗、小泉純一郎、安倍晋三、福田康夫らに引き継がれている。1972年（昭和47年）7月、「われ日本の柱とならん」を掛け声に佐藤後継の本命として保利茂、松野頼三、園田直、藤尾正行ら他派の親福田議員を結集して総裁選に出馬する。決選投票（田中282票、福田190票）で角栄に敗れるが、「やがては日本が福田赳夫を必要とする時が来る」と強気の発言を残した。また、この際福田に肩入れをしていた当時の金融界のフィクサーであった大橋薫は、生前「自分が病気で入院していたために福田が負けた」と漏らしている。発足した田中内閣においては下野する形になったが、同年12月の総選挙で自民党が改選前議席を割り込むと田中が挙党一致を求める形で第2次田中角栄内閣に行政管理庁長官として入閣。翌1973年（昭和48年）11月の内閣改造では、田中の列島改造論とオイルショックによる経済の混乱の収束を求められ、急逝した愛知揆一の後任として大蔵大臣に就任し、総需要抑制などのインフレ抑制策を発動した（1974年7月の参議院選挙後に閣僚辞任）。1974年（昭和49年）12月に発足した三木内閣でも副総理・経済企画庁長官として入閣し、経済政策の陣頭に立ったが、ロッキード事件への対応を巡って党内で三木おろしが決定的になった1976年（昭和51年）11月に閣僚辞任している。