历代注家有不同看法。应劭认为：「古山林之官曰衡。掌诸池苑，故称水衡。」张晏则认为：「主都水及上林苑，故曰水衡。主诸官，故曰都。有卒徒武事，故曰尉。」颜师古则称：「衡，平也，主平其税入。」
沿革.水衡都尉最早设于西汉汉武帝时期，于元鼎二年（前115年）置，掌管上林苑，兼管皇室财物和铸钱。《汉书》载，水衡都尉“掌上林苑，有五丞。属官有上林、均输、御羞、禁圃、辑濯、钟官、技巧、六厩、辩铜九官令丞。又衡官、水司空、都水、农仓，又甘泉上林、都水七官长丞皆属焉。上林有八丞十二尉，均输四丞，御羞