Crittenden blev født i Russellville, Kentucky, søn af senator John J. Crittenden, broder til den konfødererede general George B. Crittenden og fætter til Unionsgeneral Thomas Turpin Crittenden. Han giftede sig med Catherine Todd, datter af faderens anden hustru. Deres søn, John Jordan Crittenden III, gjorde tjeneste i hæren og døde med oberstløjtnant George A. Custer i Slaget ved Little Bighorn i 1876.