Schyłek jego życia był dla niego pasmem niepowodzeń. Z chwilą śmierci Władysława IV w 1648 został pozbawiony swego największego politycznego sprzymierzeńca w kraju. Legła w gruzach również misternie budowana od lat jego polityka zagraniczna wobec Turcji i Tatarów. Wybuch powstania na Ukrainie pod wodzą Bohdana Chmielnickiego pokrzyżował i pogrzebał jego plany polityki wewnętrznej. Nagła śmierć w 1648 jedynego syna, z którym wiązał wiele nadziei, zaprzepaściła jego plany względem swej najbliższej rodziny. Pozostawił wprawdzie jeszcze trzy córki, ale te nie mogły kontynuować wytyczonej przez niego drogi. Jednym z ostatnich ciosów, jakie spadły na Ossolińskiego była śmierć bratanka Krzysztofa-Baldwina, za którą uważał się odpowiedzialny. Dodać do tego trzeba jeszcze klęskę Rzeczypospolitej podczas powstania Chmielnickiego, narastającą od lat niechęć do jego osoby szlachty, odwrócenie się od niego większości magnaterii oraz, co ważne, nowego króla Jana Kazimierza. Była to katastrofa dorobku jego życia. Załamany, doznał 8 sierpnia 1650 silnego ataku apopleksji. Zmarł w swoim warszawskim pałacu 9 sierpnia tego roku, w wieku 55 lat. Pochowany został w kościele kolegiackim św. Józefa w Klimontowie, który wybudował.