Утеплять - здесь не подходящее слово. Утепляют всю стену. А вам дыру заделать надо. В дез звоните,должны прийти в квартире посмотреть, где дует, и запустить альпиниста снаружи (про смену батарей я бы пока не говорила, изнутри заделать еще успеете). Это все бесплатно. (Московский опыт)