Little Norway oppstod da Osten Olson Haugen, en innvandrer fra Telemark slo seg ned på en 40 acres farm på 1850-tallet. Haugen bygget hovedhuset og flere andre bygninger fra tømmer som han hugget på farmen. Haugens familie dyrket på stedet frem til 1920.