Etter Coster vendte tilbake fra København ble han assistent for Hendrik Lorentz ved Teylers Museum i Haarlem hvor han utviklet et røntgenspektrometer. I 1924 ble han ansatt ved universitetet i Groningen hvor han etterfulgte Wander de Haas. I Groningen startet han et forskningsprogram med røntgenspektroskopi.