1970年至1974年1970年,克利夫兰在给新成立的职业篮球队起队名时,在当地投票表决,结果6000张选票中超过三分之一的票数选了“骑士队”。骑士队刚进入联盟的1970-71赛季,因为球馆仍被冰球联盟签用,球队只能连打7个客场,结果全输。后来的首个主场,骑士队输给对手圣迭戈火箭队。直到作客击败同为新军的波特兰开拓者队才止住15连败。此后又是节节败退。首个赛季骑士队的成绩仅为15胜67负,球队的入座率也陷入低迷,1971年1月初的4个主场场均不足3000名观众。唯一值得庆祝的是新秀约翰·约翰逊入选了全明星,赛季场均得16.6分。1971-72赛季,骑士队在1971年的选秀中得到“跑车”奥斯汀·卡尔,还得到了阿尔弗雷德·比尔德和来自洛杉矶湖人队的中锋里克·罗伯森。球队战绩一度接近榜首的巴尔的摩子弹队。但新年过后,骑士队再一次滑落谷底。但奥斯汀·卡尔还是以场均21.2分的表现入选了最佳新秀阵容。而里克·罗伯森则以每场12.7个篮板创下球队纪录。1972-73赛季,骑士队进行重组。后卫兰尼·威尔肯斯、前锋巴里·克莱门斯、二年级生吉姆·克里蒙斯先后到来,首轮秀德怀特·戴维斯也加盟。但赛季末骑士队仍是中央区最烂的队,兰尼·威尔肯斯以每场8.4个助攻排名联盟第2,以场均20.5分与卡尔并排得分榜第17。1973-74赛季,骑士队内线的虚弱让球队的胜场数重新跌到30场以下(29胜53负),仍然处中央区末游。在主场球馆克利夫兰球馆(Cleveland Arena)的最后一场比赛以114-92击败卫冕冠军纽约尼克斯队。赛季结束后兰尼·威尔肯斯去了波特兰开拓者队当球员兼教练。1974年至1978年1974-75赛季,球队首战在13184名球迷面前为新球馆命名里奇菲尔德球馆(Richfield Coliseum),但当晚就以107-92输给卫冕冠军波士顿凯尔特人队。队中的奥斯汀·卡尔膝伤休赛,吉姆·乔尼斯的腿伤及先发后卫吉姆·克里蒙斯的肩伤使球队雪上加霜,在与纽约尼克斯队争夺季后赛席位的生死对决中,主场作战的骑士队在结束前3秒追到只差一分。但弗雷德·福斯特的最后一投被盖帽,骑士队无缘季后赛。该赛季,骑士队取得了40胜42负的成绩。1975-76赛季,骑士队得到34岁的内特·瑟蒙德,奥斯汀·卡尔也伤愈归队。阵容齐全的骑士队以49胜33负的成绩登上中央区的榜首位置,并击败新奥尔良爵士队,队史