上万氏世家，祖上是世袭锦衣卫千户，万表四世孙，曾祖万邦孚，均为明朝军事要人。万斯选系万泰第五子。兄弟万斯同、万斯大均为着名学者。明朝崇祯九年（1636年）考中举人。明朝不久即灭亡，入清后隐居不仕。万泰邀请黄宗羲自余姚至鄞县讲学，万斯选与兄弟万斯同、万斯大一同学习听讲，三人均为黄宗羲十八高足。与来自杭州的施相、徐介为莫逆之交。逝世后葬于宁波西郊庄园内，后称白云庄。