El equipo con el que histórica y tradicionalmente el FK Sarajevo ha mantenido su mayor rivalidad es el FK Željezničar Sarajevo, club también de Sarajevo.