Думайте о себе! Вам он нравится? Вам удобно так встречаться?  Если да, тогда встречайтесь, все все равно выплывет, женат он или характер такой. И да, могут такие отношения перерасти. У меня с мужем поначалу почти так было, сейчас 2 детей, 12 лет вместе.