Может, вы увидели в этой фразе то, чего туда муж не вкладывал, через призму ваших трений. Мужики вообще редко говорят тонкими двусмысленностями. Но может, ваш муж и исключение, и этой фразой подколол вас за прошлые придирки. В любом случае, проблема не в этой сказанной фразе.