За репрезентацију Западне Немачке наступао је од 1973. до 1978, Холценбајн је одиграо 40 утакмица и постигао пет голова. Најважнији тренутак у репрезентацији био му је током финала Светског првенства 1974, када је изнудио пенал након чега су Немци изједначили резултат против Холандије, а затим је Западна Немачка победила са 2:1. Касније је признао да се бацио на земљу у казненом простору, а да га није дотакао холандски дефанзивац Вим Јансен. Године 1976. постигао је гол у 89. минуту финала Европског првенства у Југославији, али на крају је Чехословачка успела да победи Западну Немачку после бољег извођења једанаестераца. Био је учесник Светског првенства у Аргентини 1978. године.