Beliau kemudiannya menubuhkan Parti Kemerdekaan Malaya (IMP) pada 26 Ogos, 1951. Malangnya, parti tersebut tidak mendapat sokongan daripada orang Melayu. Pada tahun 1954, beliau meninggalkan parti itu untuk menubuhkan Parti Negara bagi tujuan bertanding dalam pilihan raya umum yang pertama di Persekutuan Tanah Melayu pada tahun 1955. Parti Negara menyekatkan keahlian bukan orang Melayu dalam satu percubaan untuk memperoleh sokongan daripada orang-orang Melayu. Walaupun demikian, partinya masih gagal mendapat sokongan dan tidak memenangi sebarang kerusi dalam pilihan raya itu. Bagaimanapun, Dato Onn masih berusaha untuk mendapatkan tempat dalam politik. Akhirnya, beliau berjaya mendapat satu kerusi di kawasan parlimen Kuala Terengganu Selatan dalam Pilihan Raya Umum 1959 dengan bantuan parti PAS.