Так если определено место общения по месту жительства ребенка - зачем Вы отпускаете ребенка? Или я не так что-то понимаю? Просто тогда у Вас уже есть все основания ребенка никуда не выпускать из квартиры, как минимум. Найти способ выставить деда вовремя, я думаю, тоже можно. В конце концов, откажется уходить сам - пару раз наряд вызвать. Если Вам неприятно его присутствие, то надо все равно пересматривать и график и место общения, и оговаривать тогда уже Ваше присутствие. Просить психолога рекомендовать встречи на нейтральной территории и просить судью установить то же самое, а опеку - рекомендовать такой график и такое место. Пока получается, что вы оба решение суда не исполняете, вот он и злоупотребляет своими правами.