Я так понимаю, на даче он не всегда таки сидит - когда надо, он в квартиру возвращается. То есть живет, как ЕМУ удобно и ГДЕ ему удобно, совершенно не задумываясь о желаниях и комфорте остальных членов семьи. Значит надо поставить вопрос так: если мы семья - у нас не запрещается кому либо приезжать в места, принадлежащие семье. Если нет - убери свои игрушки и не писай в мой горшок. Развод и девичья фамилия. Никого никуда не " выгонять".  Сделать все по закону - каждому причитающееся и разойтись,чо. Отцом он быть не перестанет от этого. Будет желание - будет общаться. Но видимо не будет, потому что он и в браке ведет себя, как совершенно чужой дядя. Смысл поддерживать все это? Если человек " наверное раньше таким не был", то какой смысл в настоящем , когда он УЖЕ " такой" все жто терпеть? В память о прошлом? А в настоящем ради его удобства лишать детей и внуков дачи и всего, что им по праву принадлежит? То есть его жалеть надо, а детей и внуков нет?