દિલિપભાઇ પટેલ, પિતા