В таком раскладе вы совершенно правы. Если он забирая ребенка на неделю не будет заниматься ею сам - то совершенно ни к чему это. Если же бабушка желает забирать внучку, пусть она с вами и договаривается и это будет называться - ребенок проводит выходные или что там - с бабушкой, а не с папой, если папа тут ни при делах.