Все делать постепенно. Для начала посадить вдоль забора живую изгородь , лучше вечнозеленую, типа туй или елок, и закрыть калитку на замок или щеколду. Обрывать отношения резко я бы не стала, соседи, сами говорите, приличные, но  приватность для себя обеспечить необходимо.