Patterson nació en Long Island, su padre, John Patterson fue hermano menor de Walter Patterson, quién fue el primer gobernador real de la Isla del Príncipe Eduardo.