Все так и скажите ему. Почему вы не хотите об этом поговорить? Пусть ремонтом займётся.  А вы продолжайте встречаться.  Потом можете, если захотите, у него иногда оставаться (на несколько дней, но ночевку и тд).  Ну и дочь постепенно привыкнет к самостоятельности и жизни одной. А когда все будете готовы, то ситуация сама выправится.  Может вы расстанетесь или действительно захотите к нему переехать. А дочь будет в квартире жить. Не факт, что она тоже удачно замуж выйдет и ей будет куда переезжать.