Hans förhållande till Harriet var det ämne som för Ögonblicket mest besvärade hans tankar.