此外，赵婴齐没有听从丞相吕嘉等人的劝告，仍把在长安时娶的妻子立为王后，把次子赵兴立为太子，这种舍长立幼的举动，使南越国在他死后，他的长子赵建德和次子赵兴之间产生了激烈的权力之争，并最终导致了南越国的覆灭。
陵墓.赵婴齐死后，其陵墓葬于南越国的都城番禺（今广州市）内。据《太平寰宇记》记载，黄武五年（226年），孙权因听闻南越国第一代王赵佗的陵墓多奇珍异宝，遂派遣吕瑜领兵数千人前来广州挖掘赵佗的陵墓，最终以失败而告终。但吕瑜却挖掘出了赵婴齐的陵墓，在陵墓内发现丝褛玉衣和皇帝信玺、皇帝