Ole Hanson ble født i en tømmerhytte i Union Grove i Racine County, Wisconsin som sønn av Thorsten Hanson og Goro Tostofson Hanson. Han var det femte av seks barn som ble oppdratt av det norske innvandrerparet.