はい、大変です。ですから日本人の大人が漢字を書けずに忘れてしまうように、英語ネイティブにも手書きでは正しく単語のスペルをかけない人が山のようにいます。例外が多すぎてそんなこといちいち覚えていられないからです。
またこの発音とつづりが一致していないというのは人体にとって負担が高いです。そのためディスレクシア(難読症)の発症率は今なおアメリカでは10％である、という話もあります。これは「英会話はできるが、英語の文章を書いてある通り読めない」というものです。発音とつづりが違いすぎて、その大量の例外を習得できない個体がネイティブですら頻繁に発生するのが英語という言語なのです。
なお日本語は漢字を読めない人や意味を知らない人は大量にいますが、ひらがなが音の定義をしていますので、フリガナを振れば読むことはできるという言語仕様になっています。