В награду за свою службу в начале 1660 года Анджей Ольшовский получил должность референдария коронного. Вероятно, он вошел тогда в тесный круг сподвижников королевы Марии Луизы, разработавший проведения государственных реформ. 23 февраля 1661 года польский король Ян II Казимир назначил Анджея Ольшовского епископом хелминским. Он был утвержден в должности папой римским 8 августа того же года, а 2 февраля 1662 года Анджей Ольшовский вступил в управление епархией. Занимался восстановлением Хелминской епархии, разрушенной во время Шведского потопа и оживлением религиозной жизни. Участвовал в реконструкции нескольких храмов, отобрал из рук протестантов церковь Святого Якуба в Торуни (1657) и передал её бенедиктинцам, в Торуни возобновил процессии Божьего Тела.