Ну да, "муж не гулял" - так ВАШЕ знание о ситуации. То, что вам давалось знать, вернее ограничивали ваше знание о реальном состоянии вещей. Вы думаете это первая в его жизни смс-ка первой в его жизни любовнице?Или может быть - это первая в его жизни смс-ка, с которой он спалился? Если второе вернее, то под сомнение и утверждение про "первую любовницу". Следовательно, и "муж не гулял" спорно утверждение. Не гулял только лишь в вашем представлении.