Попросить вы можете. Вы уже попросили. Но он оказался не согласен. Дальше вы можете заламывать руки и стенать о несовершенстве этого мира. Или договариваться. И не "вообще", на всю жизнь, "потому что это твои дети". А каждый раз конкретно: "Мне нужно обязательно попасть к врачу во вторник в 18.00. Ты не мог бы побыть в это время с детьми? Если тебе неудобно, то я могу записаться на другое время, но мне было бы удобнее сделать это именно во вторник, в 18.00"  Как-то тak.