宽麟之父名为杨少亭，祖籍上海青浦，为一名牧师。其母亲则是美国圣公会首位华人牧师黄光彩的三女，杨宽麟的姨母黄素娥则是圣约翰大学校长卜舫济的妻子。杨宽麟的长子杨伟成为建筑设备专家，原北京市建筑设计院副总工程师，其妻钱瑗为着名学者钱锺书与杨绛的独女。次子杨志成则是一位美籍华裔插画家，经历过三次婚姻，第二任妻子是着名现代画家阿希尔·戈尔基之女。