Jelavić spilte i starten av sin karriere for forskjellige klubber i Bosnia og i Kroatia. Fra 2002 spilte han for den kroatiske storklubben Hajduk Split. I 2007 gikk han til den belgiske klubben Zulte Waregem, hvor han spilte én sesong. Deretter spilte han to sesonger i østerrikske Rapid Wien.