ну в общем да, по аналогии с утеплением лоджии. Но, я так поняла, у автора нет задачи там жить, просто сделать нормальной температуру для "забежать в кладовку не одеваясь"  Так что, окна можно не менять на пластик. Но обложить всё утеплителем и зашить вагонкой. И хотя бы 1 нагревашку повесить.