梵高在阿尔勒租了一间旅馆居住,因为它的外壁涂成了黄色,故被称为"黄房子"。画面上建筑物的右侧即是梵高的住所(正面的窗户涂成绿色和黄色的部分)。梵高很早就向往"艺术家的乐园",因此希望这个家能成为南法的"未来画室",并且希望能够尽快地接他的穷朋友高更来一起共同生活(高更于10月20日到达阿尔勒)。在这一张画上,由广阔前景的土黄色地面,即向两旁延伸的马路,到小建筑物正面的硫磺色与一大片天空的绿色,这些颜色之间相互呼应,构成了色调的转移。
梵高打算把阿尔勒的黄房子变成画家之家,这是他最具乌托邦特色的方案。他详细地描述了他的"画家之家"。在给提奥的信中他写道:"我想把它搞成一个真正的'画家之家',它并不华贵,正相反,其中没有一样华贵之物。""房子给我带来了安逸感,从现在起,我感到我正在为未来工作。"在他的作品里,这幢房子位于满是尘土的拉马丁广场对面,是一座在深蓝色天空映衬下闪闪发亮的鲜黄色建筑。梵高打算用"向日葵"系列画装饰画室;在客房里要"以日本人的方式"张挂一些"向日葵"以欢迎高更的到来。
梵高觉得这里的阳光和日本一样明亮,他在这里租了个有四个房间的房子,梦想将其变成艺术家的乐园,就是画作中街角的那幢房子,颜色较其他建筑物响亮,他称之为“光之屋”,并将黄色命名为爱的最高闪光,房子前脚步匆匆的就是他本人。
这幅图画的主题不是光,而是感情。梵高的第一个念头是想把它画成一幅夜景画;"窗口亮着,空中繁星闪烁",可是在定稿中,他蓄意强调阳光通过巨大的空隙流进屋内的黑暗,所以整幢房子发出光亮。
梵高于1888年5月住到这里,一直到1889年的4月。梵高离开人世许多年后,黄房子改为酒吧。这个建筑物毁于二战。