Сначала окна надо отчистить. Купите скребок для стекол, это такой зажим на ручке  в который вставляется лезвие для бритья, продаются почти во всех строительных магазинах. С легким нажимом проводите по пятнам, все присохшее просто упадет на подоконник, а вот уж после того как убрали эти засохшие пятна и потеки можно и мыть.