Из описанного вами я вижу только одно - вас очень слабо тянет друг к другу. Редких встреч достаточно. Скорее всего, совместное проживание вам будет "ни о чем". Начнете друг другом тяготиться через некоторое время. Так что торопиться нет никакого смысла, да и оно вам вообще не надо почеснаку.