A broumovi kiszögellést II. Přemysl Ottokár cseh király 1213-ban adományozta a břevnovi bencéseknek. 1322 után Broumovban megalapították a bencés prépostságot, és a gótikus várerődítmény helyén bencés kolostort kezdtek el építeni. Az eredeti kolostori templom gótikus stílusban készült, és a mai templomhoz hasonlóan Szent Adalbertnek szentelték.
A kolostort a huszita harcok idején többször is ostromolták, de erős falainak köszönhetően nem tudták bevenni. Mai formáját az 1728-1733-as évekből származó barokk átépítése során nyerte el, melyet Kilián Ignác Dientzenhofer tervei alapján hajtottak végre. Ő készítette a belső termek terveit is – a prelatúráét, a kolostori ebédlőét, a könyvtárakét, melyeket aztán a prágai barokk legkiemelkedőbb művészei valósítottak meg.
A Szent Adalbert apátsági templomot Jan Jakub Steinfels a Szent Adalbert életét megörökítő freskói, továbbá Václav Vavřinec Reiner oltárképei és Václav Matěj Jäckl szobrai díszítik. A kolostori gimnázium már a husziták előtti időszakban is rangosnak számított. Itt tanult Pardubicei Arnošt prágai érsek is, a többi jelentős személyiség közül például a cseh papot és hazafit, Bohuslav Balbínt vagy Alois Jirásek írót említhetnénk meg.
A második világháború után a német papok nagy részét kitelepítették innen, ők a bajorországi Rohrban telepedtek le. A többi szerzetesnek szintén el kellett hagynia a kolostort, mely aztán 1950-től koncentrációs táborként működött a papok és a különböző rendekhez tartozó szerzetesek számára. Egyike volt annak a sok börtönnek, melyet a kommunista rezsim kifejezetten erre a célra alapított. A kolostort 1990-ben visszakapták a bencések, de ma már nem él itt egyetlen szerzetes sem. Csehországban körülbelül húszan vannak, fő székhelyük Prágában, a břevnovi kolostorban van. A jövőben bencés rendi apácák élnek majd itt.
Napjainkban a kolostor nyitva áll a nagyközönség előtt. Látható itt a torinói lepel egyedi, 1651-ből származó másolata, valamint a kolostor alagsorában a vambereckói múmiák, vagyis a vambereckói papok, orgonisták, polgárok és más neves személyiségek mumifikált maradványai. A kiállítás további része a kolostori templom egy értékes intarziás bútorzatú szentéllyel és a kolostori ebédlő, ahol jelenleg miseruhákat állítanak ki, melyek között láthatunk igazi cseh gránátokkal kirakottat is. A kolostor hatalmas könyvtára tizenhétezer kötetet őriz. Figyelemreméltó a régi nyomtatványok kiállítása is, elsősorban a bibliáké, továbbá az apátok Peter Brandl és Molitor által festett arcképeinek galériája.