Я бы на вашем месте перехватила бы инициативу в свои руки: "Петя, эти выходные ребенок проводит с тобой. Вечером я его привезу. Встречай". И никакие его ангины и усталости вас волновать не должны. Пусть выполняет отцовские обязанности. Ребенок уже не грудничок, не переутомится мужик.