Grey var født i Lisboa i Portugal bare noen dager etter at hans far, oberstløytnant Grey i 30. infanteriregiment, ble drept i slaget ved Badajoz i Spania. Hans mor overhørte to offiserer som snakket om hans død fra balkongen av hennes hotell i Lisboa, og dette førte til en for tidlig fødsel. Hun var datter av en irsk geistlig, pastor John Vignoles. Grey ble sendt til en skole i Guildford i Surrey og ble tatt opp på i 1826. Han ble visekorporal i 83. regiment som i 1830 ble sendt til Irland. Der utviklet han mye sympati for de irske bøndene viss store nød gjorde sterkt inntrykk på ham. Han ble forfremmet til løytnant i 1833 og fikk førsteklasses skussmål da han avla eksamen på Royal Military Academy Sandhurst i 1836.