Kommentaren följer på en händelse där en äldre präst skadades av en ung örn, när han försökte skrämma bort den när den anföll en av hans gäss.
SGA har efterlyst en offentlig undersökning av effekterna av att fåglarna återinförs på östkusten.
RSPB Skottland har beskrivit det lilla barnet anspråk som "alarmistiska nonsens".
Den skotska regeringen sade att den inte kände till några angrepp från havsörnar på barn i andra länder och ansåg inte att en offentlig undersökning var nödvändig.
I ett brev till den skotska regeringen varnade SGA för att attacken mot Very Pastor Hunter Farquharson i Abernethy i Perthshire kunde vara den första av många.
Föreningen har bett om en "exitstrategi" om havsörnarna visar sig ha en negativ inverkan på sociala, ekonomiska eller fritidsaktiviteter.
I brevet sade SGA: " Dessa varelser släpps nu ut i vad som är ett jämförelsevis tättbefolkat område, så att de dagligen kommer i kontakt med människor.
"Det kommer att ingjuta beboeligt beteende och ta bort vad som bör vara en hälsosam rädsla för människor.
"Det finns rapporter om surrningar som uppenbarligen har genomgått denna desensibilisering och detta har resulterat i att de attackerat människor. Detta skulle kunna utgöra ett allvarligt hot i framtiden.
"Kommer dessa mycket stora varelser att skilja mellan ett litet barn och mer naturligt stenbrott?"
Perth-baserade SGA representerar viltvårdare, stalkers, ghillies, viltskötare och skogvaktare.
Ledamot av associeringskommittén Bert Burnett sade att gruppen inte hade några problem med havsörnar på Skottlands västkust.
Han sade: "Vad oss anbelangar verkar dessa havsörnar klara sig bra och inte utgöra något hot."
Burnett sade dock att det behövdes mer samråd om hur fåglarna ska släppas ut på östkusten.
Han tillade: " Somliga kanske tror att detta är viltskötare som ställer till bråk av någon obskyr anledning.
"Så är det inte. Det är en verklig oro och det är en oro som andra människor där ute än viltskötare känner."
På webbplatsen för mikrobloggning Twitter twittrade RSPB Skottland: "Alarmistiskt nonsens från SGA.
"Sjöörnen kan snart äta små barn. ScotGov tar väl inte det här på allvar?"
En talesman för RSPB Scotland sade att Perthshire-incidenten var olycklig och beklaglig, men att fågeln hade reagerat som andra vilda djur kan göra när de trängs.
Han sade att SGA hävdar att örnar, Storbritanniens största rovfågel, siktar på små barn som löjligt.
Med en vingbredd på 8 meter är den vitsvansade havsörnen Storbritanniens största rovfågel.
Den utplånades helt i Storbritannien i början av 1900-talet och återvände först när ett återinträdesprogram började på ön Rum 1975.
Mull, Wester Ross och Skye har nu också etablerat populationer.
I augusti i år släpptes 16 unga havsörnar ut i Fife.
En skotsk regering sade att våldtäktsmännen var utbredda i många delar av Europa, däribland tätbefolkade områden.
En taleskvinna sade: "Vi är inte medvetna om några angrepp av havsörnar på barn i dessa länder."
Hon tillade: " Vi anser inte att någon offentlig undersökning är nödvändig.
"National Arts Reintroduction Forum, med Scottish Natural Heritage som ordförande och som omfattar Scottish Gamekeepers Association, behandlar alla frågor som rör återinförda arter, inklusive havsörnar."
Scottish Gamekeepers Association har väckt farhågor om huruvida havsörnar kan skilja mellan barn och deras naturliga byten.