הורסמן גדל במועדון הספורט של בקום, שם שיחק עד שנת 1975, בה נתגלה כישרונו, ועבר לבאיירן מינכן. בקבוצה הבווארית זכה כבר בעונתו הראשונה בגביע אירופה לאלופות, שהיה השלישי ברצף של באיירן מינכן, והגיע עם הקבוצה לגמר נוסף ב-1982, בה הפסידה הקבוצה לאסטון וילה. הורסמן זכה עם באיירן מינכן בנוסף בשתי אליפויות בבונדסליגה, בגביע מקומי אחד, ובגביע הביניבשתי בשנת 1976. הורסמן צבר 229 הופעות בבאיירן מינכן, וכבש 20 שערים.