Den mest kjente bygningen er Chelsea Royal Hospital, et sykehus for invalidiserte soldater som ble åpnet av Karl II, angivelig etter at Nell Gwynne oppfordret ham til det. Bygningen er tegnet av Christopher Wren. Militærforlegningen Chelsea Barracks har i nyere tid blitt omgjort til et kjøpesenter. Nok et militært anlegg i Chelsea er National Army Museum, som tar for seg den britiske hærs historie.