Sachverhalt: A. Mit drei Verfügungen vom 12., 14. und 15. Februar 2008 forderte die Sozialversicherungsanstalt des Kantons Aargau, Erwerbsersatzordnung (EO), von der Zivilschutzorganisation (ZSO) X._ insgesamt Fr. 18'630.50 für in den Jahren 2003 bis 2005 zu Unrecht über die EO abgerechnete 118 Schutzdiensttage des Zivilschutzkommandanten S._ zurück. Die Einsprache des Gemeindeverbandes Bevölkerungsschutz und Zivilschutz X._ wies die kantonale Sozialversicherungsanstalt, Ausgleichskasse, mit Entscheid vom 11. Juli 2008 ab. B. Die Beschwerde des Gemeindeverbandes Bevölkerungsschutz und Zivilschutz X._ wies das Versicherungsgericht des Kantons Aargau nach Beiladung von S._ zum Verfahren mit Entscheid vom 21. April 2009 ab. C. Der Gemeindeverband Bevölkerungsschutz und Zivilschutz X._ und S._ lassen gemeinsam Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, Gerichtsentscheid und Einspracheentscheid seien aufzuheben und auf die Rückerstattung von ausbezahlten EO-Beiträgen in der Höhe von Fr. 18'630.50 sei zu verzichten; eventualiter sei die Streitsache zur Nachholung des rechtlichen Gehörs sowie zur Abklärung des rechtsrelevanten Sachverhaltes im Sinne der Erwägungen an die Vorinstanz zurückzuweisen. Das kantonale Versicherungsgericht verzichtet auf eine Stellungnahme und einen Antrag zur Beschwerde. Das Bundesamt für Sozialversicherungen beantragt die Abweisung der Beschwerde. Die kantonale Sozialversicherungsanstalt hat sich nicht vernehmen lassen. In einer eigenen Eingabe hat sich S._ zur Vernehmlassung des Bundesamtes geäussert.