Før byen Roskilde ble anlagt fantes det et herredsting på samme sted. Det er ennå ikke funnet arkeologiske beviser på når byen ble grunnlagt, men ifølge Adam av Bremen og Saxo Grammaticus kom Harald Blåtann på 980-tallet reisende fra Jelling til Roskilde, hvor han bygget en kongsgård og en kirke (på stedet hvor Roskilde domkirke nå står). I denne kirken ble Blåtann senere begravet og Roskilde ble i første omgang bygget opp rundt denne trekirken. Saxo angir også en tidligere sagnkonge, Ro eller Roar Halvdansson, som byens grunnlegger. Dette kan da forklare opphavet til byens navn.