А по-моему так бабушки правы. Беря внуков себе они автоматически освобождают отца от них. И что выходит? Матери нет, отец постольку поскольку. А случись что с бабушками? Правильный  вариант - категорический отказ, а дальше либо пусть договаривается со своей женой, либо расходится с ней. Да, будет несколько сложных лет, но постепенно выплывет.