Автор, забейте и отпустите. Пусть муж с сестрой время проводит. А вы в это время проводите его с детьми, вместе занимайтесь чем-то интересным, прогулки, каток, театр, еще что-то. А вечером потом дружно рассказывайте папе дома как вы все вместе, без него, классно время провели. Думаю, он такое несколько раз послушает и поймет, что теряет вас всех и расставит, наконец, приоритеты.