Не живите вместе ни в коем случае!  Ваша дочь и ее комфорт - приоритет. Хотите - встречайтесь и трахайтесь с этим товарищем, ваше право, но ваша ответственность сейчас - это ваша дочь, а не посторонний мужик с детьми. Если вы начнете жить вместе, вы превратите ее жизнь в ад, странно, что вы этого не понимаете.