在第二次中曾根内阁担任经济产业大臣、竹下内阁中担任建设大臣。生于神奈川县横滨市，早稻田大学哲学系毕业，曾当选横滨市市议会议员。1991年11月在议员会馆因意外从楼梯坠落导致头部受伤而死。现任日本首相菅义伟自1975年起曾为小此木彦三郎秘书11年。儿子小此木八郎亦为神奈川县众议院议员。