26岁定居香港执大律师业，1956年加入香港司法部。出任首席大法官前，他历任裁判司、高级裁判司、地方法院法官、高等法院和上诉法院按察司，以及在1987年出任上诉法院副庭长等职。他处理过的大案包括调查1972年六一八雨灾，1975年主审外籍前总警司葛柏涉嫌贪污案，以及在1980年就麦乐伦案主持聆讯。在首席大法官任内，他对司法机构展开改革，以配合主权移交，当中包括在1995年首度为法庭引入中文聆讯。在司法界以外，杨铁樑在1985年至2001年和1994年至2001年分别担任香港大学校董会主席和香港大学副校监