У 1569 годзе згодна з умовамі Люблінскай уніі Дарагічын перайшоў да Каралеўства Польскага. У гэты час ён знаходзіўся ў валоданні Кішкаў. На 1576 год тут было 327 будынкаў. У часы Паўночнай вайны (1655—1660) у 1657 годзе шведскае войска зруйнавала горада разам з замкам. У 1660 годзе яго спустошылі маскоўскія захопнікі. У XVII—XVIII стагоддзях у Дарагічыне існавала праваслаўнае Мікалаеўска-Спаскае брацтва. У 1646 годзе ў месце знаходзілася езуіцкая рэзідэнцыя, якую ў 1747 годзе ператварылі ў калегіум. У 1661 годзе тут працавала езуіцкая школа (існавалі музычная бурса, бібліятэка, аптэка, дзейнічаў тэатр). У 1696—1709 гадах езуіты збудавалі ў Дарагічыне касцёл Найсвяцейшай Тройцы. На 1713 год у месце было 117 будынкаў. У сярэдзіне XVIII ст. тут збудавалі кляштары бенедыкцінак і францысканцаў.