Вы не строили ни на чьем несчастье свои отношения, вы просто жили. Если там счастья не было, с вами или без Вас оно бы там все равно не появилось. Эта пословица настолько примитивная и общая. что не стоит её при каждом случае поминать. Все в жизни намного сложнее.