Fondata il 24 ottobre 1946, il Sarajevo è stata la squadra bosniaca di maggior successo dell'ex Jugoslavia, vincendo due titoli della First League, classificandosi seconda in altre due occasioni e finendo sesta nella classifica di tutti i tempi della competizione. Il club entrò nella First League jugoslava nella stagione 1948-49 e alla fine partecipò a tutte le stagioni tranne due. Dopo che la Bosnia ed Erzegovina ottenne l'indipendenza dalla Jugoslavia, il Sarajevo divenne uno dei più grandi ambasciatori del paese. Partendo, durante la guerra bosniaca, per un grande tour mondiale con l'obiettivo di ottenere il sostegno internazionale per la causa del paese.