אחרים ביקרו את פולק על מדיניות ההתרחבות שלו ועל אמונתו הנלהבת ברעיון הייעוד הגלוי. הגנרל יוליסס סימפסון גרנט טען שהתנגד לסיפוחה של טקסס, וקרא למלחמה מול מקסיקו "אחת המלחמות הלא צודקות שהכריזה אומה חזקה על אומה חלשה". הוא טען שפולק חיקה את המונרכיות האירופאיות ולא התחשב בצדק ברצונו להשיג עוד טריטוריה. הפוליטיקאים הוויגיים, כמו אברהם לינקולן וג'ון קווינסי אדמס, טענו שסיפוחה של טקסס הגדיל את כוחה של העבדות במדינה. העימותים בנושאי העבדות בטריטוריות במהלך תקופתו של פולק הובילו לפשרת 1850 ולהמשך התסיסה הפנימית בתוך ארצות הברית. בעקיפין הבילו עימותים אלו להקמת המפלגה הרפובליקנית עקב אירועי קנזס המדממת ובתורה גם פרצה מלחמת האזרחים האמריקנית.