Вы будете вынуждены искать компромис - он отец и имеет право на общение и т.п. Тем более в данной ситуации он нормально реалтзовывает свои права. Не переживайте, если МЧ - судьба - вы будете вместе, а если нет, то вас все равно жизнь разведет по разным сторонам.