安倍晋太郎皆于东京出生及成长。祖父安倍宽历任日置村村长、山口县议会议员，1937年当选国会众议院议员而成为日本政坛政要人物。同时，安倍晋三也是前首相岸信介的外孙，其外叔公佐藤荣作亦曾任首相。外伯公，官拜日本海军中将，曾任旅顺要港部司令。妻子安倍昭惠，本姓松崎，是日本森永制菓株式会社创业者森永太一郎的外曾孙女，父亲是森永制菓前社长松崎昭雄。她与安倍晋三结婚之后，改从夫姓。她说，她习惯在家中暱称安倍晋三为“小晋”。二人婚后无子女。安倍晋三的胞弟岸信夫，曾为国会众议员、防卫大臣。关系上来说，小