Peter Dawson sa att han också var förvånad över att höra Rory McIlroy säga att han "troligen inte kommer att titta på golf" från Rio på TV.
"Rory har rätt till sin åsikt men jag fann det nedslående", sade han.
McIlroy är en av en rad spelare som har dragit sig ur Rio Games, med hänvisning till oro över zikaviruset.
Världens fyra topp - Jason Day, Jordan Spieth, Dustin Johnson och Nordirlands McIlroy - kommer alla att saknas efter att ha väckt fruktan för det myggburna viruset, som har kopplats till hjärndefekter hos nyfödda barn.
Internationella olympiska kommitténs ordförande Thomas Bach har sagt att tillbakadragandena kommer att vara en av de faktorer som beaktas när idrottslistan för spelen 2020 bekräftas nästa år.
Rio Games kommer att se golf tillbaka till OS efter en 112-års frånvaro.
"Vi har en stor konkurrens, spelarna kommer att ha en underbar upplevelse och uttag är begränsade till spelare från endast fyra länder," Dawson sade.
"Jag är mycket säker golf har en plats i OS-programmet och vi kommer att göra allt vi kan för att hålla det där."
De olympiska spelen äger rum från 5 till 21 augusti, med herrarnas golfturnering pågår från 11 till 14 augusti.
Frånvaron av toppspelare från OS "kommer inte att hjälpa" golf fall för vistelse på framtida spel, har ordföranden för International Golf Federation sagt.