Teritorium dnešní arcidiecéze sarajevské patřilo původně pod jurisdikci diecéze sirmijské, vzniklé ve 4. století. Po avarské invazi diecéze zanikla a oblast spadala pod dalmatské diecéze, později pod diecéze uherské, v době turecké vlády pod františkánskou katolickou správu. V roce 1735 vznikl apoštolský vikariát Bosna, který až do roku 1846 spravoval i Hercegovinu. Po připojení Bosny a Hercegoviny k Rakousko-Uhersku v roce 1878 vznikla (v roce 1881) i nezávislá církevní provincie, kdy byl apoštolský vikariát povýšen na arcidiecézi a byly zřízeny i jeho sufragánní diecéze. Po Bosenské válce klesl počet kaolíků v Sarajevu z více než 520 tisíc na 200 tisíc.