Все дело именно в гендерных ролях. Не в  гендерных стереотипах (это разные понятия). Чаще всего неработающая женщина - даже если и ходит по салонам красоты - она все равно  занимается бытом, учебой детей, их воспитанием. Мужчина - ходит на работу, "добывает мамонта" и даже если участвует в бытовых вопросах, то - "помогает" (ну или делает ограниченную часть какую-то - например, ходит в магазин). А вот если не работает мужчина, а работает женщина  -  все равно львиная часть бытовых вопросов на ней. А мужчина, даже "сидя дома" - помогает. Сейчас тут многие напишут - "ой, все не так, знаю примеры". Примеры обратного, конечно, могут быть. Но они, во-первых, единичные, а во-вторых, если присмотреться, все равно получится - всяких мелочей, связанных с бытом и детьми   на женщину ложится больше, нежели на мужчину. Поэтому "поменять" местами мужа и жену равноценно и не получается. Поэтому и общественное мнение по-разному воспринимает сидящего дома мужчину и сидящую дома женщину.