Annulleringen av ekteskapet med Ruskin stengte Effie ute fra en del av det sosiale livet. Det var ikke tillatt for henne å være tilstede i dronningens nærvær. Om dronningen var invitert ble hun utelatt. Tidligere hadde hun vært svært sosialt aktiv og dette plagde henne. Da Millais var døende tillot dronningen å løsne på forbudet, men hun døde selv kun noen få måneder etter sin ektemann. Hun ble begravd i kirkegården i Kinnoull i Perth som er avbildet i Millais' maleri .