Underlagt Hanlinakademiet var Oversetterbyrået (四夷館 / 四译館, , ). Det ble grunnlagt i 1407, etter Zheng Hes første ekspedisjon til Indiahavet. Byrået tok hånd om materialer overlevert av fremmede lands utsendinger, og utdannet sin egen translatørstab. Byrået hadde avdelinger for jurtsjensk, mongolsk, tibetansk, «huihui» (persisk, arabisk eller tyrkisk) og burmesiske språk, og språkene talt av «de hundre stammer» (, det vil si etniske grupper ved Kinas sørvestre grenser), «gaochang» (folk fra Turfan, det vil si uigursk), og (西天; muligens språk fra India?). I 1511 og 1579 tilkom avdelingene for (八百; laotisk) og thai.