Не надо говорить ничего. Просто назначайте встречи, когда вам удобно и где вам удобно. Если он не берет на выходные, настраивайтесь на это. А провоцировать его не надо. Если человек негодяй, и ему нравится ставить вас в позу зависимой и ждущей Пенелопы, он это делать не перестанет, наоборот, будет еще больше вас дергать. Вы вообще скажите ему, что сейчас в век мобильных, он может просто подъезжать туда, где вы с детьми находитесь. "хочешь приехать, увидеться, пожалуйста, нет проблем, просто набери меня, и я скажу где мы находимся". Вообще не могу понять, почему вы должны ждать его именно в квартире?