Hans politiske karriere begynte i 1967 da han ble utnevnt til et ledig sete i San Jose bystyre. I 1971 ble han valgt til byens borgermester. Fra 1975 til 1995 satt Mineta i USAs Representanthus som representant for Silicon Valley-området.