Samje on ehitatud Indias asunud Odantapuri kloostri eeskujul mandalakujulise põhiplaaniga, mis sümboliseerib budismi kosmoloogilist maailmapilti; seda ümbritsesid stuupad ja skulptuurid. Tiibeti budismi varajasel perioodil oli Samje kuningavõimu kaitse all uue õpetuse tähtsaim tugipunkt. Seal peeti 792–794 kuulus debatt Kamalašīla ja hiina budismi esindaja Hvašang Moheyeni vahel, mille võitis esimene. Hiina kultuurirevolutsiooni ajal 1960-tel tehti Samje peaaegu maatasa. Praeguseks on klooster suures osas taastatud ning avatud turistidele ja palveränduritele.
