Giải đấu lớn đầu tiên mà Rahn tham dự là Giải vô địch bóng đá thế giới 1954 tại Thụy Sĩ. Ông đã ghi bàn thắng đầu tiên tại tại giải đấu này ở phút thứ 77, trong trận đấu mà Tây Đức đã thua đậm trước Hungary với tỉ số 8-3. Tại vòng tứ kết, ông đã ghi bàn thắng ấn định tỉ số 2-0 trước Nam Tư. Trong Trận chung kết Giải vô địch bóng đá thế giới 1954, khi tỉ số đang là 2-1 cho Hungary, Rahn đã gỡ hòa cho Tây Đức từ một quả phạt góc. Sau đó, ở phút thứ 84, ông đã ghi bàn thắng quyết định, ấn định tỉ số 3-2 cho Tây Đức.