А что мешает скандалить Вам? Ему значит, можно отстаивать свои "границы", а Вам нет? Да с чего бы это? Выставляйте свои условия, пересматривайте договоренности не в ущерб себе и находите такие компромиссы, которые бы устраивали Вас. Иначе нет смысла в семейной жизни, если Вам в семье становится не комфортно.