Untuk tahun 1981, Hart mengikuti tim Toleman ke ajang Formula Satu, dengan mesin turbo empat silinder bertingkat 1,5 L bernama 415T. Namun, tahun ini adalah tahun bencana, dengan dana operasional kecil Brian Hart yang gagal mengimbangi pakaian yang didanai dengan lebih baik. Mobil tim Toleman hanya lolos ke balapan sebanyak dua kali saja. Namun, Hart tetap bertahan dengan hasil terbaik dari hubungan lima tahun dengan tim Toleman, pada saat Ayrton Senna menempati posisi kedua di Grand Prix Monako 1984, dan tim Toleman yang merebut posisi ke-7 di Kejuaraan Dunia Konstruktor musim 1984. Teo Fabi kemudian sukses merebut posisi "pole" dengan Toleman-Hart di Grand Prix Jerman 1985, yang menjadi "pole" pertama dari dua "pole" yang diraih oleh mobil-mobil F1 bermesin Hart.