Rosslyn Wemyss var yngste sønn av James Hay Erskine-Wemyss (1829–1864) og hans hustru Millicent Anne Mary Erskine (død 1895).