扬州宝应县，先辈来粤做官，遂落籍番禺。父亲名樟华，又名键，字少楠，为闽清县知县。居廉生于清朝道光八年（1828年）9月22日，排行第七。自幼从堂兄居巢学画，十岁左右时随居巢赴广西，后又随居巢成为张敬修的军师，因军功奖掖，赏戴花翎。其间临习过宋光宝、华岩、金农、恽寿平、八大山人、徐渭等人作品。1855年，张敬修因浔城失守落职，次年返回东莞老家，而“二居”也返回家乡广州。之后，居氏兄弟又数次应张敬修及其侄张嘉谟之邀同赴东莞，断断续续分别于张敬修的可园和张嘉谟的道生园客居了近十年时间，专心从事艺术创作活动。这