Если вы сказали, что будете отпускать детей к нему ночевать только в случае если он уберет гнездо, а он отказался. Это означает, что он не хочет чтобы они у него ночевали. Это нормально. Тогда и не отпускайте. Просто передоговоритесь, что когда вы уезжаете на выходные, у него будет еще один день на неделе или следующие выходные его. Но не в гнезде.