Crowe kom fra en diplomatfamilie. Han var sønn av diplomaten Eric Crowe, som døde de Brian var 14 år, og hans hustru Virginia Teusler. Bestefaren var Eyre Crowe. Foreldrene hadde møtt hverandre i Tokyo. Moren var amerikaner, som nedstammet fra konføderasjonsgeneralen Robert E. Lee og fra Pocahontas.