А вы думаете, мужики насильно встречаются с любовницами? Через "не хочу" встретятся и скорее домой,  к жене? Особенно те, которые долгое время имеют связь на стороне, а судя по тем темам с могилой, там так и было (длительная связь). И не думаю, что мужика насильно удерживали годами.  Значит, были чувства и отношения.  Оставить в покое, моментально забыть можно разовые отношения,  но не долгосрочные. И вполне объяснимое желание было у человека знать, где могила.