Заснаваны каля 1410 года вялікім князем літоўскім Вітаўтам, які даў кляштару 2 карчмы ў Брэсце, загадаў выплачваць манахам па 4 грошы з мыта, па дзесяціне ад брэсцкіх мяшчан і з в. Бучэмля і Трасцяніца. Асноўны даход аўгусцінцы атрымлівалі ад в. Кастамлоты, якая належала ім да 1795 г. Кляштар меў таксама 2 юрыдыкі ў Брэсце, на яго карысць рабіліся грашовыя запісы, і ён лічыўся самым багатым сярод аўгусцінскіх кляштараў Вялікага Княства Літоўскага. У 17—18 стст. y ім жыло каля 20 манахаў, адбываліся ордэнскія капітулы, дзейнічалі школы філасофіі і тэалогіі, існавала бібліятэка, у якой станам на 1818 год былі 322 кнігі.