Hans fødested i Virginia ewr senere blitt del av West Virginia),. Grundy flyttet med sine foreldre til Brownsville i Pennsylvania og så til Kentucky, der han ble utdannet ved Bardstown Academy i Bardstown.