у ваших соседей стеклопакеты небось? И Когда на улице холодно и не проветривают окошки плачут и сильно холодные стены сыреют и покрываются грибком. У  меня была такая фигня, сильно отсырел кусок стены, который как бы выступает на улицу ( у меня еще квартира, а у соседей уже балкон). техник приходил и по акту снаружи утепляли швы. Чуть помогло, но не особо, я там "доброе тепло держу", для просушки этого угла в морозы. Так что вы виноваты, скорее всего, разница температур большая и я так понимаю это не маленький кусочек стенки а у них целая стена выстыла и грибок дальше по квартире пошел. Я б тоже матом орала, простите.