Окна как правило ни при чем. Можно вынуть, нормально зашпаклевать проём, наклеить предварительно сжатую уплотнительную ленту (ПСУЛ), как положено по технологии монтажа, вставить раму в свободном состоянии, без стёкол, на клинья, запенить её правильно и заштукатурить надёжно, вставить стекла. Тогда ничего дуть не будет точно. Крайний вариант- замена резинок, они в леруа 160 рублей за 5 метров. Лучше вас самих, никто не сделает.