Han var sønn av Henrik Miltzow, sogneprest på Voss, ble i 1648 student ved Københavns Universitet, tilbragte flere år på utenlandske universiteter, og ble ved tilbakekomsten til København gjort til magister i 1657. Neste år ble han utnevnt til kapellan hos faren, og etter dennes død i 1666 overtok han sogneprestembetet. Fra 1669 var han også prost i Hardanger og Voss prosti. Han var gift med Susanne Skjelderup, datter av biskop i Bergen Jens Skjelderup og datterdatter av professor Ole Worm. De hadde flere barn.