Su padre, Takakichi Asō, fue el presidente de la compañía de Cemento Aso y era un cercano socio del Primer Ministro Kakuei Tanaka; su madre Kazuko Asō era hija del Primer Ministro Shigeru Yoshida.