父亲谭雅士是法官，曾先后获颁OBE勋章及太平绅士勋衔，1976年逝世时遗产达2000多万港元，杨谭爱莲获其中四分一。2006年8月5日假中环圣约翰座堂举行安息礼拜，除杨铁樑及其亲属外，香港行政长官曾荫权伉俪、前特首董建华、多名主要官员和政经界名人如邵逸夫、方逸华都有出席。