По преданию, на месте монастыря ещё до нашествия татаро-монголов существовал мужской скит с очень строгим уставом. В 1860 году в Каменном Броде была основана Свято-Троицкая Каменнобродская женская община. В 1865 году на средства народной советницы Серафимы Персидской была построена церковь в честь чудотоворной иконы Божией Матери «Всех Скорбящих Радость». После 1928 года был закрыт, находился в заброшенном состоянии. В 1992 году монастырь был восстановлен как Каменнобродский Свято-Троицкий мужской монастырь. 27 августа 1996 года наместником монастыря был назначен иеромонах Елисей (Фомкин).