Andronikos IV Palaiologos var eldste sønn av keiser Johannes V Palaiologos og hans kone Helena Kantakouzene. Hans besteforeldre på morssiden var keiser Johannes VI Kantakouzenos og Irene Asanina.