Так вы и друг с другом ничего не построили. Точно так же, как и с другими людьми каждый.  Иначе он бы уже давно сам переехал туда, где живете вы. Необязательно при этом сразу было съезжаться. Ваш поезд и не приходил, и друг с другом вы за столько лет ничего не построили, соответственно что вы можете построить рядом? Вы чужие люди, живущие каждый своей жизнью.