Margary var sønn av en britisk generalmajor, og fikk sin utdannelse i Frankrike, ved Brighton College og ved University College i London. Etter å ha strøket tre ganger på opptaksprøven til utenrikstjenesten bestod han til slutt, og ble sendt ut til den britiske konsulartjeneste i Kina i februar 1867. Han tjenestegjorde i Beijing, Taiwan, Shanghai og Yantai.