Lite er kjent om Browns bakgrunn, inkludert fødseldato og -år. Ifølge Philip Norman ble Brown utstøtt fra sin katolske familie i Bebington i Wirral. Dette kan ha vært på grunn av Browns homoseksualitet.