Думаю, что Вы путаете причинно-следственную связь.Сначала появилась любовница, а потом, оправдывая СВОЕ поведение, стали думать о том, что у жены кто-то был... И задумываться Вы стали только потому, что что-то Вам напомнило из СВОЕГО поведения с любовницей, что, допустим, жена когда-то пришла поздно вечером с цветами.Так как сами любовнице цветы таскали.