Samlingen har sin bakgrunn i Haugesund Kunstforenings faste samling. I 1973 ble denne gitt til Haugesund kommune mot at kommunen etablerte et museum med visningslokaler for skiftende utstilling, magasin og utstillingsrom for den faste samlingen.