Norvell ebbe otto figli da tre mogli diverse. Con Isabella, la sua terza moglie, ebbe una figlia e cinque figli, tre dei quali combatterono nella Guerra civile americana e nella Guerra messicano-statunitense. Il Colonnello Freeman Norvell fu un ufficiale marino che combatté nella Battaglia di Chapultepec nel settembre 1847 e nella Battaglia di Gettysburg nel 1863. Il più giovane fratello di Freeman fu Dallas Norvell, che faceva parte del gruppo di militari comandati dal Generale George Custer. Un altro figlio, il Colonnello Stevens Thompson Norvell, fu un ufficiale dei Buffalo Soldiers dopo la guerra, e nella Battaglia di San Juan Hill con Theodore Roosevelt durante la Guerra ispano-americana. Norvell morì a Detroit il 24 aprile 1850 ed è attualmente seppellito nel Cimitero di Elmwood.