神田上水がいつ竣工したかについての特定は難しいが、寛永年間には完成していたであろうといわれている。
神田上水の構造.
神田上水を始めとする江戸の上水道は水の落差を利用して給水する「自然流下方式」と呼ばれる方式であった。
神田上水は井之頭池を水源としている。その後、各支流と合流し関口大洗堰を経て江戸市中に給水している。井之頭池から関口までは野方堀と呼ばれた開渠の堀で水を運んだ。関口から水戸屋敷までも開渠の堀で、こちらの方は白堀または素堀と呼ばれ両岸には石垣が築かれてあった。
水戸屋敷を出て御茶ノ水懸樋（万年樋）で神田川を渡り、武家地や町人地を給水していた。給水を行うために樋と枡を使って、水道網を形成していた。
『上水記』に樋と枡について下記のように記されている。
樋は送水菅であり、石樋と木樋が一般的で他に瓦樋・竹樋などの種類もあった。
竹樋（竹筒）は木樋と上水井戸（溜枡）との間を連結するときに用いられている。
これらの樋と枡を使って給水をしていたわけである。配管は元禄ごろには町屋の台所にも及んでいた。道路部分の伏樋から各戸に水を引き込み、宅地内の上水用井戸に水が流れるようになっていた。長屋にも上水井戸が設置され、住人たちが共同で使っていた。
水量と水質に関しては厳重な管理が敷かれていた。神田・玉川両上水とも各所に番人を置いて毎日水量と水質を検査していた。神田上水では関口大洗堰に水番人小兵衛、水道橋外掛樋見守番人に伊兵衛が任命されていた。
水質面では上水道が汚染されないよう高札を建てている。高札の内容は「上水で水浴をしてはならない、魚鳥を取ってはならない、ごみを棄ててはならない、物を洗ってはならない」の四項目が中心となっていた。なにしろ江戸の上水は浄水を施していないため、導水路が汚染されてしまえば飲料水には使えないのである。また、水を溜めておく枡は時々清掃し、底に溜まったヘドロを除去していた。
神田上水の管理体制の変遷.
江戸初期の上水支配については明らかではない。町年寄が江戸開府のころから上水管理に携わっていたともいわれているが、これについては疑問視されている。
神田上水の上水奉行（本所上水も兼任）には速見与次右衛門と芦原十兵衛の2人が就いている。