Kloostri olevat 497 asutanud püha Songi mäe (vt Hiina pühad mäed ) põhjanõlvale Põhja-Wei keiser Xiao Wen. Seal olevat peatunud legendaarne chan’i koolkonna rajaja Bodhidharma. Teda peetaksegi Shaolini võitluskunstide traditsiooni loojaks. Legendi järgi olevat ta, nähes munkade füüsilist nõrkust ja loidust, loonud harjutuste süsteemi keha ja vaimu tugevdamiseks. Erinevatel ajastutel, nt Tangi (618–906) ja Mingi (1368–1644) dünastiate valitsemisajal, on Shaolini mungad tegutsenud ka keiserliku sõjaväe instruktoritena. Kloostrit on mitu korda hävitatud ja rüüstatud, viimati 20. saj 1920ndatel ja 1960ndatel. Alates 1982 on seda restaureeritud ja laiendatud ning sealset võitluskunstide traditsiooni Hiina RV valitsuse toetusel taaselustatud ja arendatud, mis on teiselt poolt kaasa toonud selle kommertsialiseerumise.
