Bug: Use Hive and Spark SQL to modify table field comment, the modified results of Hive cannot be queried using Spark SQL
Status: Open | Priority: Major | Resolution: 
Created: 23/Nov/22 16:00
Affects Version/s: 3.0.0

-- Hive

> create table table_test(id int);

> alter table table_test change column id id int comment "hive comment";

> desc formatted table_test;
{code:java}
+-------------------------------+----------------------------------------------------+----------------------------------------------------+
|           col_name            |                     data_type                      |                      comment                       |
+-------------------------------+----------------------------------------------------+----------------------------------------------------+
| # col_name                    | data_type                                          | comment                                            |
| id                            | int                                                | hive comment                                        |
|                               | NULL                                               | NULL                                               |
| # Detailed Table Information  | NULL                                               | NULL                                               |
| Database:                     | default                                            | NULL                                               |
| OwnerType:                    | USER                                               | NULL                                               |
| Owner:                        | anonymous                                          | NULL                                               |
| CreateTime:                   | Wed Nov 23 23:06:41 CST 2022                       | NULL                                               |
| LastAccessTime:               | UNKNOWN                                            | NULL                                               |
| Retention:                    | 0                                                  | NULL                                               |
| Location:                     | hdfs://localhost:8020/warehouse/tablespace/managed/hive/table_test | NULL                                               |
| Table Type:                   | MANAGED_TABLE                                      | NULL                                               |
| Table Parameters:             | NULL                                               | NULL                                               |
|                               | COLUMN_STATS_ACCURATE                              | {\"BASIC_STATS\":\"true\",\"COLUMN_STATS\":{\"id\":\"true\"}} |
|                               | bucketing_version                                  | 2                                                  |
|                               | last_modified_by                                   | anonymous                                          |
|                               | last_modified_time                                 | 1669216665                                         |
|                               | numFiles                                           | 0                                                  |
|                               | numRows                                            | 0                                                  |
|                               | rawDataSize                                        | 0                                                  |
|                               | totalSize                                          | 0                                                  |
|                               | transactional                                      | true                                               |
|                               | transactional_properties                           | default                                            |
|                               | transient_lastDdlTime                              | 1669216665                                         |
|                               | NULL                                               | NULL                                               |
| # Storage Information         | NULL                                               | NULL                                               |
| SerDe Library:                | org.apache.hadoop.hive.ql.io.orc.OrcSerde          | NULL                                               |
| InputFormat:                  | org.apache.hadoop.hive.ql.io.orc.OrcInputFormat    | NULL                                               |
| OutputFormat:                 | org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat   | NULL                                               |
| Compressed:                   | No                                                 | NULL                                               |
| Num Buckets:                  | -1                                                 | NULL                                               |
| Bucket Columns:               | []                                                 | NULL                                               |
| Sort Columns:                 | []                                                 | NULL                                               |
| Storage Desc Params:          | NULL                                               | NULL                                               |
|                               | serialization.format                               | 1                                                  |
+-------------------------------+----------------------------------------------------+----------------------------------------------------+ {code}
-- Spark SQL

> alter table table_test change column id id int comment "spark comment";

> desc formatted table_test;
{code:java}
+-------------------------------+----------------------------------------------------+--------------+
|           col_name            |                     data_type                      |   comment    |
+-------------------------------+----------------------------------------------------+--------------+
| id                            | int                                                | spark comment  |
|                               |                                                    |              |
| # Detailed Table Information  |                                                    |              |
| Catalog                       | spark_catalog                                      |              |
| Database                      | default                                            |              |
| Table                         | table_test                                         |              |
| Owner                         | anonymous                                          |              |
| Created Time                  | Wed Nov 23 23:06:41 CST 2022                       |              |
| Last Access                   | UNKNOWN                                            |              |
| Created By                    | Spark 2.2 or prior                                 |              |
| Type                          | MANAGED                                            |              |
| Provider                      | hive                                               |              |
| Table Properties              | [bucketing_version=2, last_modified_by=anonymous, last_modified_time=1669216665, transactional=true, transactional_properties=default, transient_lastDdlTime=1669216711] |              |
| Location                      | hdfs://localhost:8020/warehouse/tablespace/managed/hive/table_test |              |
| Serde Library                 | org.apache.hadoop.hive.ql.io.orc.OrcSerde          |              |
| InputFormat                   | org.apache.hadoop.hive.ql.io.orc.OrcInputFormat    |              |
| OutputFormat                  | org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat   |              |
| Storage Properties            | [serialization.format=1]                           |              |
| Partition Provider            | Catalog                                            |              | {code}
-- Hive

> alter table table_test change column id id int comment "hive new comment";

 

-- Spark SQL

> desc formatted table_test;
{code:java}
+-------------------------------+----------------------------------------------------+--------------+
|           col_name            |                     data_type                      |   comment    |
+-------------------------------+----------------------------------------------------+--------------+
| id                            | int                                                | spark comment  |
|                               |                                                    |              |
| # Detailed Table Information  |                                                    |              |
| Catalog                       | spark_catalog                                      |              |
| Database                      | default                                            |              |
| Table                         | table_test                                         |              |
| Owner                         | anonymous                                          |              |
| Created Time                  | Wed Nov 23 23:06:41 CST 2022                       |              |
| Last Access                   | UNKNOWN                                            |              |
| Created By                    | Spark 2.2 or prior                                 |              |
| Type                          | MANAGED                                            |              |
| Provider                      | hive                                               |              |
| Table Properties              | [bucketing_version=2, last_modified_by=anonymous, last_modified_time=1669216736, transactional=true, transactional_properties=default, transient_lastDdlTime=1669216736] |              |
| Location                      | hdfs://localhost:8020/warehouse/tablespace/managed/hive/table_test |              |
| Serde Library                 | org.apache.hadoop.hive.ql.io.orc.OrcSerde          |              |
| InputFormat                   | org.apache.hadoop.hive.ql.io.orc.OrcInputFormat    |              |
| OutputFormat                  | org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat   |              |
| Storage Properties            | [serialization.format=1]                           |              |
| Partition Provider            | Catalog                                            |              |
+-------------------------------+----------------------------------------------------+--------------+ {code}
 

Alternately modify table field comments with hive and spark，the modified results of hive cannot be queried using spark sql