はい、ここでいう「physical」とは、外見、つまり物理的に見えるものを指しています。この場合、彼はジェイクの違いは外見だけで、内面は同じだと言っているのです。このように外見を表現するときは、「appearance」に「physical」をつけるのが一般的です。
例: Her physical appearance is very nice but her personality is even better.（彼女の外見はとても素敵だけど、性格はもっと素敵なんだよ）