במסגרת עיסוקו בספורט נכים התחרה אגמון כשחיין בחמש אולימפיאדות נכים. לאחר שהשתתף באולימפיאדת הנכים היידלברג (1972) ובאולימפיאדת הנכים טורונטו (1976), אגמון התחרה באולימפיאדת הנכים ארנהם (1980) ולקח חלק בחמישה משחים אישיים, מהם בארבעה זכה במדליות (2 כסף ו-2 ארד), ובשני משחי שליחים בהם זכה במדליית זהב ובמדליית כסף. באולימפיאדת הנכים ניו יורק וסטוק מנדוויל (1984) זכה במדליית כסף במשחה שליחים. לאחר מכן השתתף באולימפיאדת הנכים סיאול (1988).