Вам это надо - встречаться по сути с женатым человеком. Почему вы боитесь ссоры, вы ж его не в ЗАГС тянете, а говорите о том, что вас беспокоит. Говорить необходимо, будете молчать, будет считаться, что вас все устраивает.ИМХО, я вообще не стала бы серьезно относится к отношениям с женатым человеком.