黄齐耀生于广东省，祖籍台山。1920年，九岁的他随父亲移居美国，从此与母亲和姐姐失去联络。受到当时美国排华法案的影响，黄齐耀最初被留置在天使岛，在那里，他等待盘查身份时，与父亲分开。由于大多数中国移民被排华法案禁止入境，黄和父亲必须借用华裔美籍商人的“纸生仔”假冒身份非法移民。从天使岛获释后，他和父亲先在萨克拉门托落脚，随后与家人迁居洛杉矶。在帕萨迪纳本杰明·富兰克林初中（）就读时，老师便注意到黄的艺术天赋，他也获得的夏季奖学金。于是，他决定从初中辍学，去拿奥蒂斯艺术设计学院的全日制奖学金。父亲靠刚刚够