Автор, зачем вы съехались с этим человеком? Зачем обманываете себя словом "брак", которым ту и не пахнет? расставайтесь поскорее и а будущее включайте голову - ноги раздвигать можно, перед кем отите а жить вместе на этом основании не обязательно. У мужчины есть дочь и обязательтсва перед ней. Жить в одной квартире отстраненно от девочки не получится, особенно если вы так боитесь, что "подумают, что виновата мать". Не готовы впрягаться - не живите вместе, точка. Ни девочка, ни бабушка тут ничего вам не должны.