Budd ingresó a la armada como guarda marino en 1829, obteniendo el rango de teniente en 1841. Hizo parte de la tripulación del USS Peacock durante la Expedición Wilkes, comandada por el capitán Charles Wilkes (1838-1842). Más tarde se unió al buque insignia de la expedición, el USS Vincennes, como maestro.