Samostanske zgrade zidane su različitim razdobljima i drukčijeg su oblika. Uz južni zid crkve sagrađen je klaustar u drugoj polovici XV st., dijelom od materijala sa starijeg, romaničkog benediktinskoga zdanja. Vidljivo je zanimljivo miješanje stilova jedinstveno u Europi : u prizemlju su široke renesansne arkade, a na katu romanički detalji. Usred klaustra je grlo bunara velike cisterne. Talijanski arheolog C. De Franceschi tvrdi da je samostan pregrađen 1474. g. u jeku renesanse i da su tada elementi stare lođe benediktinskog klaustra sa stupićima umetnuti na prvi kat. Klaustar je dograđen i proširen 1731. god. nizom prostorija baroknih svodova. Vodoravna krila samostana i usko, visoko pročelje crkve sažimaju razasuti prostor trga te su mu vizualno i sadržajno središte. Nad ulazom u pavlinski samostan nalazi se natpis:
FREDERICUS III
IMPERATOR DONAVIT MO
NASTERIUM S. PETRI IN SYLVIS
FRATRIBUS ORDINIS S. PAULI PRIMI EREMITAE
1459.
DE NOVO ERECTUM 1731.
Tj. Fridrih III, car, darovao je samostan Sv. Petra u Šumi braći reda sv. Pavla, prvog pustinjaka 1459. Ponovno podignuti 1731. Car Fridrih III uvjetovao je da u samostanu boravi deset redovnika, od kojih barem šest svećenika. Pavlini su nakon što su ušli u posjed, narednih nekoliko godina nastojali ubrzati proces obnove zgrade i gospodarstva, te su Sv. Petar odredili središtem Istarsko-primorske provincije. Pavlini su u Sv. Petru osnovali pučku školu koju su pohađala aristokratska i građanska djeca iz gradova Istre i seljačka djeca iz Sv. Petra i susjednih sela. Oko 1770. godine u supetarskom samostanu su organizirana predavanja iz filozofije, te možemo govoriti da je barem za kratko vrijeme u samostanu djelovao Filozofski fakultet. Samostan je nakon ukidanja reda 1783. doživljavao, iz godine u godinu, sve do naših dana, rasap i propadanje. Samostan je promijenio nekoliko vlasnika, a koncem osamdesetih godina ovog stoljeća kupljen je od strane općine i dat biskupiji i crkvi u vlasništvo. 7. 7. 1993. Pavlini su se vratili u Sv. Petar nakon punih 210 godina. Uz svesrdnu pomoć i dotaciju Ministarstva kulture RH 1998. godine pokrenuta je obnova samostana.