エルギン伯がアロー戦争（1856年 - 1860年）の遠征軍司令官となると、オリファントは個人的秘書として中国に同行した。途中、日本との通商条約を締結するため、一行は1858年7月30日に上海を4隻の艦隊で出発、8月3日（安政5年6月24日）に長崎に到着、8月12日（7月4日）には品川沖に停泊した。8月26日（7月18日）に日英修好通商条約が調印された。およそ1ヶ月前に日米修好通商条約が調印されていたこともあり、交渉は比較的スムーズに進んだが、オリファントはこの際の様子は「エルギン卿遣日使節録」 としてまとめ、出版している。なお、幼少期を過ごした南アフリカにはオランダ人が多かったため、オリファントはオランダ語ができた。