Автор, почему вы именно сейчас решили возмутиться? ТРИ ГОДА! вас все устраивало, семья (хоть и не официальная), все дети "общие", дочка мужа каждые выходные у вас... А теперь надоело? Или возмутил именно факт отдыха БЖ? Если уж "все дети наши", то хоть больные, хоть здоровые - одна семья. А отношения вашего ГМ  и его БЖ - отдельная тема, к болезни ребенка не относящаяся. Вы сейчас хотите изменить "договоренности" с ГМ, хоть и негласные, но уже сложившиеся за время вашего сожительства (изменить его формат общения с родным ребенком, перестать помогать с этим ребенком). Естественно, что ему это не понравится. Так что по факту мирного компромисса вряд ли получится, будет ваш ультиматум и там уж как он решит, повестись на этот ультиматум или нет.