Rosebery viajó por los Estados Unidos en 1873, 1874 y 1876; fue presionado a casarse con Mary Fox, que era hija ilegítima del Barón Holland y de una doncella, siendo adoptada por la Baronesa Holland, hija del Conde de Conventry.