질문하신 것처럼 이 문장에서 would've/would have expected 대신에 expected/have expected를 썼어도 문장의 뜻이 바뀌지 않았을 거란 예상이 맞아요. Would have p.p는 어떤 것을 할 수도 있었는데, 결국은 하지 않았다는 뜻이 있어요.
이 둘의 차이점은 would have expected는 어떤 것에 대해 예측을 할 수 있었지만, 실제로는 예상하지 않은 기대나 추측을 나타내는 반면, 단순히 have expected/expected는 과거에 확실히 생각해두었던 기대나 추측을 말해요. 따라서, 여기서 해그리드의 말을 you're a bit more along than I would've expected (had I made any expectations)로 이해해서, (실제로 그렇게 생각하지는 않았지만) 내가 해리라고 생각할 수도 있었던 것보다 훨씬 뚱뚱한데라고 이해할 수 있어요.
예: You're younger than I would have expected (if I had any expectations). ((제가 당신을 어릴 것이라고 생각했을 수도 있었는데) 그것보다 훨씬 어리시네요. - 상대방이 어릴 것이라고 생각할 수도 있었지만, 실제로는 생각하지 않았음.)
예: You're younger than I expected. (제가 생각했던 것보다 훨씬 어리시네요. - 예를 들어 상대방이 29살이라고 실제로 예상하고 있었는데, 알고 보니 25살일 때.)
이 둘을 비교하는 건 꽤 까다로워요, 그렇지만 간단한 팁을 알려드릴게요. 실제로 어떤 것에 대해서 기대를 했다면 과거형인 expected를, 기대를 하지 않고 있었다면 would have expected를 쓰면 된답니다.