后升为随员。此后，历任驻美国公使馆参賛、驻俄国公使馆参赞。1902年（光绪28年）2月，代理驻俄国公使事。同年7月，升任出使俄国大臣。1907年（光绪33年）9月，胡惟德归国任外务部右丞。翌年3月，任出使日本大臣。1910年（宣统2年），任海牙的常设仲裁法院仲裁员（当时中文译为“公断院公断员”）。同年5月，归国任外务部右侍郎。7月改任左侍郎，兼任帮办税务大臣。1911年（宣统3年）10月，任袁世凯内阁外务部副大臣、署理外务大臣。1912年（民国元年）3月，任税务处督办，兼任第一次唐绍仪内阁的暂代外交