Жить с женатым человеком, придется тогда и то, что вы в гражданском браке нажили делить с его официальной женой, допустим, случатся дети, дети то же будут от женатого человека. Здесь даже проблема не в том, что у вас нет штампа, здесь дело в том, что у мужчины есть штамп с другой, это куда проблематичней.