И как можно запретить отцу, желающему видеть детей, с ними встречаться? Физически как это можно сделать при наличии у него огромного желания? Никак. Точно также и с бабками - если они адекватны  и неопасны для детей, хотят общаться, хотят заниматься, проводить время, не создавая при этом дополнительных проблем, способны и готовы договариваться об этом с родителями внуков, то никто не будет им этого запрещать. Если дети были "лишены" бабок, значит бабки не очень хотели.