Legge studerte ved Kings College i Aberdeen og ved i London. I 1839 la han ut på reise til Kina, men forble underveis i to år i Malakka, der han ledet stedets anglo-kinesiske . Colleget ble flyttet til Hongkong og Legge fulgte med og forble der i 30 år.