Не может он идти - он может забрать ребенка и настаивать через суд на том, чтобы дедушке с бабушкой запретили брать ребенка к себе, поскольку они нарушают права ребенка. Он ребенка у родителей автора имеет права забрать, а воот они ему запретить не имеют права, потому что он отец!