Det har blitt spekulert i om Høyjordfløyen kan ha tilhørt hertug Skule Bårdsson (1189–1240), men isåfall må den være fra tiden før hans død. Årsaken til spekulasjonene er, at både hertug Skule og kong Håkon Håkonsson (1204–1263) hadde en oppspringende, ukronet løve som sitt hærmerke. Et sagn hevder dessuten at Alv Erlingsson den yngre (d. 1290), også kalt Mindre-Alv, skal ha bodd en tid på gården Herre-Skjelbred og kan være opphavet til at Høyjord stavkirke ble reist.