Ülemdiakoni amet kujunes välja 4. sajandil, mil nii hakati nimetama piiskopikiriku ehk katedraali kõrgeimat diakonit, kes lisaks teiste diakonite juhtimisele vastutas vaeste abistamise eest ja võis assisteerida piiskoppi mitmesuguste kohustuste täitmisel. Alates 8. sajandist muutus ülemdiakoni amet läänekirikus üha võimsamaks. Ülemdiakoni ülesanne oli juhtida piiskopkonna mõne piirkonna kogudusi ja diakonite asemel said sellesse ametisse preestrid. Nende volitusi hakati roomakatoliku kirikus piirama 13. sajandil ja 1553. aastal sai Trento kirikukogu otsusega sellest ameti asemel aunimetus. Keskaegses tähenduses on ülemdiakoni amet säilinud anglikaani kirikus, kus teatud preestrid abistavad piiskoppi kas mõne konkreetse töövaldkonna või mõne piirkonna koguduste juhtimisel. Õigeusu ja kreekakatoliku kirikus on ülemdiakoni amet enamasti liturgiline või tseremoniaalne, olles seotud piiskopi abistamisega jumalateenistustel või tähtsama positsiooniga teiste diakonite hulgas – musta ja valge vaimulikkonna hulka kuuluvaid ülemdiakoneid võib seal eristada, nimetades neid vastavalt arhidiakoniks ja protodiakoniks. Mõnevõrra erinevas tähenduses oli ülemdiakoni ametikoht olemas ka 16.–19. sajandil saksakeelsetes luterlikes kirikutes, kus pastori tiitlit kandis vaid koguduse esivaimulik ja teise vaimuliku olemasolu korral nimetati teda ülemdiakoniks.
