与妻子卢艾玲（Evelyn）家庭均是来自台湾的移民家庭。 他的父母是在加州大学伯克利分校研究生院就读的时候相遇的，他的父亲杨界雄获得了物理学领域的博士学位，并分别在IBM和通用电气的研究实验室工作且在其职业生涯获得了69个专利；而他的母亲陈玲铢则获得了统计学的硕士学位，但她随后却成为了一名艺术家，曾任台湾粉彩画协会第二及第三届理事长。哥哥杨欣泽是哥伦比亚大学临床流行病学副教授。杨安泽曾就读于新罕布什尔州的一所寄宿制学校——菲利普斯埃克塞特学院，并于1992年从该校毕业。他随后进入布朗大学就读经济系，并