באביץ' שיחק כנער באוסייק הקרואטית, ובשנת 1997 החל לשחק בקבוצה הבוגרת של המועדון והפגין כישרון רב. בשנת 2000 הוחתם על ידי באייר לברקוזן מהבונדסליגה, ביחד עם חברו לאוסייק, יוריצה ורנייש, ושניהם הצטרפו לקרואטי נוסף, בוריס ז'יבקוביץ' בבאייר לברקוזן. הקבוצה הצליחה יפה באותה תקופה והייתה בצמרת הכדורגל הגרמני, אך בעונותיו הראשונות בקבוצה, באביץ' מיעט לשחק בקבוצה הבוגרת ושיחק בעיקר בקבוצת המילואים. עם זאת, בעונת 2001/02, נכנס כמחליף בדקה ה-91 בגמר ליגת האלופות 2002 במקומו של לוסיו. בגמר זה באייר לברקוזן הפסידה 2-1 לריאל מדריד. בעונת 2002/03 הפך באביץ' לשחקן משמעותי בהרכב הראשון של הקבוצה, אך הקבוצה הידרדרה לתחתית, וסיימה מקום אחד בלבד מעל הקו האדום. באותה עונה, באייר לברקוזן עברה את שלב הבתים הראשון בליגת האלופות, כאשר באביץ' הבקיע צמד בניצחון 2-0 על מכבי חיפה במשחק החוץ באצטדיון GSP בניקוסיה, ושער נוסף בניצחון 2-1 על מכבי חיפה במשחק הביתי בביי ארנה. את שלב הבתים השני סיימו לברקוזן ובאביץ' עם אפס נקודות משישה משחקים. באביץ' הבקיע שער אחד בשלב זה, בהפסד 3-1 לניוקאסל יונייטד. בארבע העונות הבאות באביץ' היה שחקן הרכב קבוע בבאייר לברקוזן, שחזרה לצמרת הבונדסליגה לאחר כישלונה בעונת 2002/03. בתום עונת 2006/07 עזב באביץ' את באייר לברקוזן לאחר שבע עונות, לאחר שהבקיע 13 שערים ב-144 משחקי ליגה.