Karl Ifvarsson , frihandlare , äromvald