Historien åpner i nåtiden. 75 år gamle Mary Carlton er deprimert, på grunn av ektemannen Johns sykdom. Hun føler at livet hennes ikke har noen nytte hvis John dør. Hun begynner å lese dagboken sin, hvoretter filmen hopper til 1865, på den tiden hun ble forelsket i John. Men hun føler at hun må skjule denne kjærligheten på grunn av sin strenge mor, av frykt for at moren kommer til å avvise deres kjærlighet på grunn av deres forskjellige sosiale klasser. Mary er medlem av den svært velstående Marlowe-familien, samtidig som John kommer fra arbeiderklassen.