А ЗАЧЕМ вы с ним говорите? Учитесь говорить "Нет", "Не могу" , "Не хочу". Можете начать с малого, если сразу страшно  - он звонит, вы не снимаете трубку, даете сразу отбой и пишете смс - "Не могу говорить. Перезвоню САМА как мне будет удобно". Если в следующий раз он начинает опять затягивать разговор, то сразу прерывайте -"Ой, извини! Не могу говорить!  Убегаю срочно и сейчас никак не могу продолжить. Позвоню САМА, как смогу". , и.... не перезваниваете.    Если он звонит дочери, то пусть она скажет  "мама не может сейчас говорить, занята".  И сама пусть найдет себе срочно занятие, что бы завершить разговор. К чему эти частые беседы? Это и есть ваши взаимоотношения как раз, ему  они нужны, он черпает себя в том, что вам плохо, а вы зачем-то терпите. Зачем терпеть негатив? Не ищите точек соприкосновения, не давайте повод для общения (не надо никаких книг,  услуг, еды, в конце концов), вы должны свести все точки соприкосновения на минимум.  Общий вопрос у вас только один - дочь.  Все остальное  пресекайте сразу.