Taro Asos hustru Chikako er datter av tidligere statsminister Zenkō Suzuki. Hennes bror er medlem av Overhuset. Asos far, Takakichi, var medlem av Underhuset etter krigen. Taro Asos morfar var den tidligere statsminister Shigeru Yoshida. Asos tippoldefar Ōkubo Toshimichi var en nøkkelperson under Meijirestaurasjonen og ble senere innenriksminister.