Casey ble født i Scranton i Pennsylvania til Ellen (f. Harding) og Bob Casey, Pennsylvanias 42. guvernør, som et av åtte barn. Han er av irsk opphav.