入阁，改出任总统府科技谘询委员会委员，并且当完台南县长；2001年陈唐山于台南县当选第五届立法委员。在第五届立委任内，陈唐山着力于台南科学园区升格，亦与立委蔡同荣推动外交部将中华民国护照加註「TAIWAN」。
入阁.2004年陈水扁连任总统后，进一步掌握外交人事。4月，陈唐山接替简又新任外交部长与出任国际合作发展基金会董事长。2005年遭遇教宗若望保禄二世逝世，4月陈唐山成功陪同陈水扁总统出访梵谛冈，经由义大利入境参加教宗葬礼，创下台湾总统及外交部长首次访问梵谛冈的纪录。200