בשנת 1995 חתם קולר בבורוסיה דורטמונד. קולר היה אחד משלושה כוכבים עם עבר ביובנטוס שעברו לבורוסיה דורטמונד, יחד עם שטפן רויטר ואנדראס מולר. הקריירה של קולר בדורטמונד נסקה לגבהים חדשים, והוא פתח בהרכב שניצח בגמר ליגת האלופות 1997 את יובנטוס, קבוצתו הקודמת, יחד עם רויטר ומולר. באותה שנה, זכה עם בורוסיה דורטמונד בטורניר הגביע הביניבשתי, לאחר ניצחון בגמר על קרוזיירו, וגם בתואר אישי יוקרתי, כדורגלן השנה בגרמניה. בנוסף, זכה קולר עם בורוסיה דורטמונד בשתי אליפויות הבונדסליגה. קולר צבר 191 הופעות בבורוסיה דורטמונד במשך שבע עונות, וכבש 14 שערים, וסך הכל הופיע בדיוק ב-500 משחקי בונדסליגה וכבש 36 שערים, לפני פרישתו בתום עונת 2002. משחקו האחרון של קולר בבורוסיה דורטמונד הסתיים בטונים צורמים. קולר הגיע עם בורוסיה דורטמונד לגמר גביע אופ"א 2002 מול פיינורד. עבירה של קולר ברחבה זיכתה אותו בכרטיס אדום כבר בדקה ה-31 של המשחק, ואת הפנדל תרגם פייר ואן הוידונק לשער, במשחק שהסתיים בתוצאה 3:2 לטובת פיינורד.