海，祖籍余姚县（今属慈溪县洪魏村），与工程院魏敦山院士为同族之后。父亲魏启元为上海红帮裁缝代表人物，专为法国在沪官商定制西服，以熟拈法语。魏廷荣更是精通英文、法文。早年受洗为天主教徒，毕业于中法学堂（今上海光明中学前身）。受法国驻沪公董局委派乘邮轮赴法国留学，学费生活开支都由法方支付。学成回国，旋即出任中法银公司经理。后历任上海法租界中华义勇团司令、法租界商团司令、公董局临时行政委员会首任华人委员等要职。
收藏.魏是海上大收藏家，虽然自小接受欧式教育，却很得中国书画金石要旨。其收藏