я бы по-любому не доверила 2-летку человеку, который его мало знает, а уж если общего языка с папашей найти невозможно, то нечего и затевать совместные мероприятия. Вы всё правильно сделали, даже не сомневайтесь. Такого малыша нельзя категорически доверять людям не имеющим опыта общения с детьми, не важно отец он или ещё кто.