才接受入阁并辞去台南县长。隔天陈水扁总统吿知无法由林文定代理县长，必须由苏焕智代理，陈唐山就拒绝入阁，改出任总统府科技谘询委员会委员，并且当完台南县长；2001年陈唐山于台南县当选第五届立法委员。在第五届立委任内，陈唐山着力于台南科学园区升格，亦与立委蔡同荣推动外交部将中华民国护照加註「TAIWAN」。
入阁.2004年陈水扁连任总统后，进一步掌握外交人事。4月，陈唐山接替简又新任外交部长与出任国际合作发展基金会董事长。2005年遭遇教宗若望保禄二世逝世，4月陈唐山成功陪同陈水扁总