Poor wuchs in seiner Geburtsstadt Andover in Massachusetts auf. Sein Vater nahm 1745 an dem britischen Feldzug teil, der Louisbourg während des King George's Krieges einnahm. 1755 schrieb sich der junge Poor als einfacher Soldat in eine der Massachusetts Einheiten ein, die aufgestellt wurden, um Jeffrey Amhersts Expedition zu verstärken, um es im Franzosen- und Indianerkrieg wieder einzunehmen. Seine Einheit bezwang den Großen Aufruhr der Akadier und vertrieb diese aus ihrer Heimat (siehe Deportation der Akadier). Nach dem Krieg kehrte er nach Andover zurück, aber nur für kurze Zeit. Poor brannte mit Martha Osgood durch und die Jungvermählten ließen sich in Exeter nieder.