Молодёжную карьеру провёл в «Бавария II». Дебют за основную команду состоялся в октябре 1986 года в матче Кубка европейских чемпионов против нидерландского клуба «ПСВ». В том сезоне мюнхенский клуб дошёл до финала, где в основное время уступил «Порту». Ульрих весь финальный матч провёл на скамейке запасных. В том же сезоне мюнхенцы выиграли национальный чемпионат, а Байершмидт принял участие только в одном матче (против «Вердер», заменив Михаэль Румменигге). В следующем сезоне в последнем туре Ульрих отметился дебютным голом в Бундеслиге в ворота «Байер 04».