А в чем проблемы проводить ночи вместе чаще? Заодно поймёте, хорошо ли вам вместе не только изредка, а постоянно. Как отношения в остальном? Вам интересно с ним, вы ходите куда-то (кафе, музеи и пр.), к друзьям? Изредка общаясь, невозможно понять, твой ли это человек. Или у него есть жена, подруга и это мешает?