Phelps bắt đầu bơi lội khi lên 7 tuổi, một phần do ảnh hưởng của chị em của mình và một phần để giúp anh thoát khỏi hội chứng giảm chú ý. Sau khi giải nghệ vào năm 2016, anh nói: "Lý do duy nhất mà tôi xuống nước là vì mẹ tôi muốn tôi tìm hiểu làm thế nào để bơi cùng các chị em, bản thân tôi cũng yêu thích môn thể thao này, và tôi đã quyết định để học bơi." Khi Phelps lên lớp sáu, anh được chẩn đoán rối loạn thiếu chú ý hiếu động thái quá (ADHD). ở tuổi 10, anh đã phá kỷ lục quốc gia dành cho độ tuổi của mình trong nội dung 100m bướm. Sau đó anh bắt đầu được đào tạo tại câu lạc bộ bơi lội ở Bắc Baltimore dưới sự chỉ hướng dẫn của huấn luyện viên Bob Bowman. Sau đó rất nhiều hồ sơ nhóm tuổi theo sau, và đến năm 2016 Phelps vẫn giữ 12 hồ sơ nhóm tuổi khi mình còn theo học.