I'd는 I had의 축약형으로 여기에서 I'd gone은 I had gone이 되겠네요. 과거완료형을 쓴 이유는 단순 과거보다 더 이전에 일어난 사실에 대해서 얘기하고 있기 때문이에요.