На самом деле, очень это  все раздражает. Не сразу, постепенно. и обычно чем дальше, тем больше. Причем происходит все может быть даже подсознательно. Человек работающий и приносящий домой деньги, начинает понимать, что на нем все держится. Это отчасти нервирует, отчасти это придает некий флер героизма. "вот если бы не Я!" Хочется человеку признания его заслуг, а не так что пришел, а тебе веник в руки - "давай, мети, чо встал". И разные там "да что ты там устал-то на своей работе, бумажки перекладывать/кнопочки жамкать. Вот  я... два кило картохи начистила, полы помыла, валюсь без сил". И когда неработающий начинает перекладывать дела, которые он прекрасно может сделать сам в то время, когда работающий на работе, это страшно бесит работающего. Что-то сделать сложное вместе - да, это понятно, а вот когда приходит человек, в квартире срач, грязная посуда, ужина нет, детей надо кормить, а неработиющий или на диване валяется, или умотал куда-то... Даже самого покладистого и терпеливого человека, это все в итоге будет злить. И ни к чему хорошему это не приведет.