La casa perteneció a la familia de los Ceas asentada en la ciudad tras la conquista al serle cedidos terrenos por Fernando III el santo a Juan Cea, que lo acompañaba en la campaña. El nombre popular, sin embargo, le viene de Juan Cosme Paniagua, que pasó largo tiempo en América, aunque hay algunos críticos que indican que Juan Cosme nunca fue al continente americano y que el verdadero indiano era Antonio de Godoy. De ahí que en la ciudad se le conociera como el indiano y, por extensión, su residencia pasó a ser la casa del indiano.