Det var under denne intense beskytningen at et tysk skiløperkompani via en skjult framrykning gjennom Herbergskaret, klarte å komme seg rundt forsvarsstillingene som fjerde gardekompani hadde ved Åsmarkveien. Bakfra og over noen skogkledte høydedrag kom de seg usett helt innpå de norske stillingene. Ved Herbergskaret utviklet det seg til harde nærkamper mot et norsk kompani under ledelse av kaptein Sigvardt Pran. Han ble såret i øyet av en tysk håndgranat, og nestkommanderende Sven Holmsen overtok ledelsen. Holmsen falt imidlertid like etter, og det var her den tyske styrken først brøt gjennom fjerde gardekompanis stillinger, og deretter også første gardekompani og stillingene som soldater fra kompani Torkildsen hadde satt opp. De norske soldatene rømte nå for livet i råtten vårsnø, og retretten skjedde under kraftig beskytning, og flere steder i nærkamp. Etter langvarige kamper ble de norske styrkene drevet tilbake i uordnet retrett. De samlet seg senere ved Fåberg.