調査したところ、そもそもwebフォントの利用自体が、パフォーマンス低下の一因となるようです。
パフォーマンスの劣化と見映えの向上はトレードオフということですね。
http://takahashifumiki.com/web/programing/3024/