Observatoriet ble opprettet av Yuan-dynastiet på 1200-tallet, og ble til å begynne med drevet av arabiske muslimer. Frem til 1600-tallet var det hele tiden ledet av en muslimsk anstronom. Observatoriet bestod av noen få astronomiske instrumenter som var montert på en opphøyet plattform innenfor palassmurene i Beijing. Svært mange var tilknyttet observatoriet, mens dets betydning hadde gått sakte, men sikkert tilbake gjennom Ming-dynastiet, først og fremst fordi det ikke var særlig treffsikkert i dine observasjoner.