Barrett nació en Torrelavega (Cantabria) en el año 1876, con el nombre de Rafael Ángel Jorge Julián Barrett y Álvarez de Toledo, en el seno de una adinerada familia hispano-inglesa, son sus padres George Barrett Clarke, natural de Coventry (Inglaterra) y María del Carmen Álvarez de Toledo y Toraño, natural de Villafranca del Bierzo, provincia de León.