I 1853 flyttet familien til Houston County i Minnesota, hvor Halvor Steenerson vokste opp. Familien var politisk interessert, og en gang var både Halvor og to av brødrene hans, Leiv og Andrew, på tale som kongresskandidater i samme valgdistrikt. En fjerde bror, Elias Steenerson, forsøkte å bli republikansk guvernørkandidat i Minnesota.