Charles Gore kom fra en anglo-irsk aristokratisk slekt/> og var tredje sønn av Charles Alexander Gore som var sønn av jarlen av Arran, og av Augusta Lavinia Priscilla (født Ponsonby) som var atter av den fjerde jarlen av Bessborough. Hans eldste bror, Philip, ble den fjerde jarl av Arran, og hans bror Spencer Gore var den første vinneren av Wimbledon Championships.