Jones, 33, meddelade sin pension efter att ha lämnats utanför Wales Six Nations trupp 2015.
Gatland säger att han skulle ha "preferred" Jones att fördröja sitt beslut till efter 2015 rugby VM.
"Jag blev lika förvånad som någon annan när Adam tog beslutet att gå i pension", sade Gatland.
Mediauppspelning stöds inte på den här enheten
"Jag skulle ha föredragit att det hade varit efter VM eftersom han inte var ur strid i våra sinnen när det gäller VM."
Tight-head Jones gjorde 95 framträdanden för Wales, vann tre Grand Slams, och spelade fem Tests för de brittiska och irländska Lions under två turnéer 2009 och 2013.
Den tidigare Neath och Ospreys spelare sista framträdande för Wales var 38-16 nederlag av Sydafrika i det första testet av deras juni 2014 turné.
Hans test framtid kastades i tvivel efter att han ersattes av Simson Lee efter bara 30 minuter av det spelet, efter att ha kämpat i klungan.
Han lämnades sedan utanför Wales höstserie 2014 och placerades i beredskap för de sex nationerna i händelse av skada.
Gatland på den tiden sade att dörren var öppen för Jones att tvinga sin väg tillbaka in i truppen för VM, men rekvisitan sade att han bestämde sig före jul att om han inte valdes för truppen skulle han gå i pension.
Jones är inställd på att fortsätta spela för Cardiff Blues, som han gick med på en ettårig affär i augusti 2014 efter att hans Ospreys kontrakt löpte ut.
Under tiden startar Wales sin kampanj mot England i sex nationer fredagen den 6 februari.
"Som tränare måste du ringa några hårda samtal ibland och vi har varit mycket nöjda med framstegen i särskilt Samson Lee under de senaste 12 månaderna," förklarade Gatland.
"Men ibland ringer man när man letar efter djup i vissa positioner.
"Han [Jones] har fattat beslutet att gå i pension och vi måste respektera honom för det."
Warren Gatland säger att han blev förvånad över tidpunkten för Adam Jones pension från internationell rugby.