Vuonna 2004 Albers sai mahdollisuuden testata Formula 1-autoja ja kaudeksi 2005 hän siirtyi F1-sarjaan Minardi-talliin. Ensimmäisellä kaudella Albersin tallitovereina olivat itävältalainen Patrick Friesacher sekä alankomaalainen Robert Doornbos. Hän keräsi debyyttikaudellaan neljä maailmanmestaruuspistettä, kun Yhdysvaltain GP:ssä kaikki Michelin renkaita käyttäneet tallit vetäytyivät turvallisuussyistä ja kilpailuun osallistui vain kuusi autoa. Kauden 2005 jälkeen Albersin Minardi-talli lopetti, ja hän siirtyi uuteen Midland -talliin. Kaudeksi 2007 sen nimi vaihtui Spykeriksi. Spykeriltä Albers sai potkut yhdeksän ajetun kilpailun jälkeen, jolloin hänet korvattiin Markus Winkelhockilla. Kahdella Midland-Spyker-kaudella Albers ei onnistunut keräämään yhtään MM-pistettä.