Автор, мне кажется, если там вдруг реализуется ваш худший сценарий, т.е. что-то серьезное, то он сам ваши общие планы начнет на тормозах спускать. Я бы отпустила ситуацию  и жила бы как живется, принимая все как должное. Плюс, здесь правильно написали, что- то серьезное у мужчины может вырасти на пустом месте, а в вашем случае оно вами заполнено, живите, радуйтесь, отдавайте ему и принимайте от него без напряга.