1801年，地点应该是萨克森德累斯顿，父亲休·义律（Hugh Elliot）是一名英国官员，母亲则名叫玛格丽特·义律（Margaret Elliot），当时他们一家正随父亲到当地公干。在1815年，义律加入英国皇家海军，在东印度和非洲沿岸一带服役，曾取得上校军衔，直到1828年，他从海军退役，并转到殖民地部工作。投身殖民地服务后，义律在1830年被派往圭亚那保护当地的黑奴，在当地的经历使他成为一位废除奴隶制度的支持者。
驻华商务总监.义律于1834年跟随律劳卑勋爵抵达中国，担任贸易