1894年生于福建省闽侯县螺洲镇。先就读乡间私塾，后转读福州开智小学。1911年10月，响应武昌起义，报名参加福州北伐学生军。同年底进武昌军校就读。成绩优异毕业后，1914年8月保送保定陆军军官学校（第3期）就读，1916年8月毕业。1942年，调往第四战区。曾参加中国国民党革命委员会。吴石曾任第十六集团军中将副总司令、中华民国国防部中将参谋次长。1947年1月20日，国防部史料局成立，吴石任局长。4月，何遂及儿子何康、吴石、中国共产党中央委员会上海局书记刘晓等人在上海锦江饭店见面，吴石正式加入中