Надо. Ребенок ни в чем не виноват, и папу надо втягивать обратно в круг родительских обязанностей. Понимаете, для него ребенок сейчас - это постоянный укор, а разве кому-то приятно постоянно укорять себя? Просто спокойно просите "Вот к такому-то часу надо поехать с Петей туда-то. Я не могу. И точка". Когда он поймет, что это не способ манипуляции, и не жест укора, все наладится.