F1-sarjassa Warwick debytoi kaudella 1981 Toleman-tallissa. Hän ei kuitenkaan osallistunut ensimmäisiin kilpailuihin, vaan vasta neljänteen kilpailuun San Marinon GP:hen. Auto oli suunniteltu ottamalla mallia tallin Formula 2 -autosta ja voimanlähteenä käytetty Hart-turbomoottori oli epäluotettava. Lisäksi talli kärsi talousongelmista, minkä vuoksi autoa ei voinut kehittää kauden aikana. Warwick karsiutui kaikissa vuoden 1981 paitsi päätöskisassa Caesars Palacen kilpailussa, jossa hänen kilpailunsa päättyi keskeytykseen. Kaudella 1982 auton luotettavuusongelmat jatkuivat ja Warwick ajoi maaliin vain kahdesti. Kauden aikana merkittävimmät saavutukset olivat kilpailun nopeimman kierroksen ajaminen Hollannin GP:ssä sekä palkintokorokesijasta taisteleminen Britannian GP:ssä, joka päättyi kuitenkin keskeytykseen. Warwick ajoi Toleman-tallissa vielä kaudella 1983, jolloin hän keräsi loppukaudesta tallille säännöllisiä pistesijoja ajamalla neljässä kilpailussa peräkkäin pisteille.