Hammer samlet mye på kunst, og sammen med sin bror Victor, eide han av den berømte "Hammer Galleries" i New York City. Hammer var en kjent filantrop, og han støttet flere institusjoner tilknyttet utdanning, medisin og kunst. Blant hans legater er (nå generelt kalt UWC-USA, er en del av United World Colleges). Ved tidspunktet for hans død, hadde Hammer blitt tildelt Sovjetunionens Order of Friendship of People, US National Medal of Arts (1987), Frankrikes Legion of Honor, den italienske Grand Order of Merit, Sveriges kongelige Order of the Polar Star, Østerrikes Knight Commander Cross, Pakistans Hilal-i-Quaid-Azam Peace Award, samt Belgias Order of the Crown. Hammer hungret etter en Nobels fredspris, og ble gjentatte ganger nominert til en, blant annet av Israels statsminister Menachem Begin, men han vant den aldri.