Byen er oppkalt etter det historiske Kapilavastu, riket der prins Siddharta Gautama blei født og levde de første 29 år av sitt liv. Hovedstaden i dette riket blir nå av nepalske arkeologer identifisert med det lille stedet Tilaurakot 3 km nord for Taulihawa. Ved bredden av har arkeologer funnet restene av en by med bymur fra Buddhas tid.