李义于1949年出生在香港一个土生葡人家庭，从喇沙书院毕业后，到英国伦敦政治经济学院攻读法律，取得法学士学位及法学硕士学位。之后回港，自1972年起担任香港大学法律学院讲师。1979年离开学术界私人执业，迅速成为海事法专家，于1990年获委任御用大律师。1997年获委任为高等法院原讼法庭特委法官，1999年加入司法机构出任高等法院原讼法庭法官，2000年获委任高等法院上诉法庭法官，同年9月获委任为终审法院常任法官。