Wise var født i Roxbury, i nabolaget av Boston, som sønn av Joseph og Mary (Thompson) Wise. Hans mor var datter av Alice Freeman Thompson Parke.