Halsstein danner en nordøstlig utløper at et større NØ – SØ-orientert åsdrag. Berggrunnen består av amfibolitt og glimmerskifer som delvis er dekket av tynne løsmasseavsetninger. Kollen har tidligere vært nyttet som beite og dels framstått som åpent beiteland dels som hageskog. Inne på borgplatået er det et sumpig område, her har det sikkert vært en brønn den gang kollen tjente som forsvarsverk og for vanning av beitende dyr i nyere tid. De siste 50-60 årene hadde skogen vokst seg stor og tett, men nyttårsstormen 1991 gjorde så store skadet på skogen at topplatået ble snauhugget. Senere har det grodd opp mye løvkratt som man forsøker å bekjempe dels ved manuell rydding dels ved beiting. Åssidene er i dag dekket av granskog med en del innslag av løvskog. Det kommunale friområdet utgjør ca. 93 mål, selve det fredede borgområdet er noe mindre.