Вам не нужно включаться в его игру. Для этого не обязательно обострять отношения и идти на конфликт. На "приеду, но не знаю точно во сколько", отвечайте "конечно, дорогой, дочь будет очень рада, но мы будем ждать тебя в воскресенье с 12 до 15, а в другое время нас может не быть дома". Это не условие, и это не обидно для бм. Вам кажется, что если Вы не будете пытаться разузнать, он  вообще никогда не приедет? Если не хотите оговаривать время посещений, то не пытайтесь ничего разузнать, просто чувствуйте себя свободной, если не было договоренности.