Это неуважение к вашему труду. Пример: есть уборщица в торговом центре,  работа которой состоит в наведении чистоты. Но! Почему-то посетители ТЦ (кроме откровенного быдла) мусор на пол все-таки не бросают, а доносят до урны. И  ваш муж ведь так не делает, правда? Но раз он позволяет себе мусорить посреди комнаты или кухни - то он к родной жене значит относится хуже, чем к незнакомой уборщице. Я бы обиделась и объяснила именно так.