Han satt i Estlands grunnlovsforsamling fra 1991 til 1992. Ved de første frie parlamentsvalgene i 1992 stilte kristendemokratene i valgforbundet «Isamaa», som med tiden ble konsolidert som et politisk parti. Velliste var utenriksminister i Mart Laars første regjering fra 1992 til 1994 og Estlands FN-ambassadør fra 1994 til 1998.