De første unionsflaggene var dårlig likt i begge land, og særlig i Norge, fordi de så klart var mer svenske enn norske. I mellomtiden hadde Norge i 1821 fått sitt eget handelsflagg, identisk med det nåværende. Men orlogsflagget måtte i henhold til Norges Grunnlov være et unionsflagg.