Ordu asutasid 1155. aasta paiku Karmeli mäe koopasse erakutena elama asunud ristisõdijad ja palverändurid. Mäe järgi karmeliitideks kutsutud vennad elasid ühises kloostrihoones, kuid igaüks palvetas omaette kas oma kongis või selle läheduses, pühendudes rangelt kontemplatiivsele elule. Esimese ordureegli palusid nad Jeruusalemma patriarhilt Albertuselt, kes andis neile selle ajavahemikus 1206–1214. 1238. aastal olid karmeliidid muslimite pealetungi tõttu sunnitud Pühalt Maalt lahkuma ning Euroopasse ümber asuma. Aastatel 1247–1253 kuulutas paavst Innocentius IV (ametis 1243–1254) karmeliidid kerjusorduks, parandatud ordureegel nägi ette ka hingehoiu- ja teadustööd. Ordu naisharu kinnitati paavst Nicolaus V bullaga „Cum nulla“ (1452). 16. sajandi reformiliikumise tulemusel eraldus ordust sügavama kontemplatiivsuse juurde tagasipöördumist soovinud haru, kes hakkasid nimetama ennast paljasjalgseteks karmeliitideks. Algse karmeliitide ordu ametlik nimi on Karmeli Mäe Õndsaima Neitsi Maarja Vendade Ordu (ladina keeles Ordo Fratrum Beatae Mariae Virginis de Monte Carmelo). Nende patrooniks on Vana Testamendi prohvet Eelija ja juhtlauseks tema põhimõte Zelo zelatus sum pro Domino Deo exercituum (Olen väsimatu [võitluses] Issanda, vägede Jumala eest; vt Vulgata 1Kn 19:10). Tänapäeval kannavad karmeliidid pruuni rüüd ja valget mantlit.
