King nasceu em Nova Iorque, neto de Rufus King, delegado de Massachusetts no Congresso Continental e na Convenção Constitucional. Após graduar-se no Columbia College, onde seu pai, Charles King, serviu como presidente, King inscreveu-se na Academia Militar dos Estados Unidos em West Point. King foi um dos primeiros colocados de sua turma, e foi indicado para o corpo de engenheiros em 1833. Renunciou à sua comissão em 1836.