Khi lên 5 tuổi, Hoàng Phi Hồng bắt đầu học Kung fu từ cha là ông Hoàng Kỳ Anh. Ông thường theo cha trong những chuyến đi từ Phật Sơn đến Quảng Châu, thủ phủ của tỉnh Quảng Đông. Cha ông biểu diễn võ thuật và bán thuốc rong trên đường (thường gọi là Sơn Đông mãi võ).