・内羽根 → フォーマル
・外羽根 → カジュアル
というのが一般論となっていますが、足に合わせて履くのが一番ですし、外羽根を履いていたからといって気にする人はいないと思います（そもそも他人が履いている靴を気にする人はいない？）。
※ただ、場面によって気になるという方は、一般論に従っておくのが無難です。