Collet valgt til Folketinget fra Storstrøms amtskrets 1981–1990. Collet var de konservatives landbrukspolitiske og finanspolitiske talsmann. Han var forsvarsminister i Poul Schlüters andre regjering 1987–1988 og så formann i Folketingets landbruks- og fiskeriutvalg 1988–1990.