De origem modesta, era filho de um barqueiro farense, António do Espírito Santo e Rosa Maria de Lima. Foi do seu padrinho, Domingos de Sequeira Chaves, que recebeu o nome próprio, e que mais tarde adoptou o apelido. Desde muito criança manifestou uma viva inteligência e uma grande vocação artística. O pai vendo aquele talento que alvorecia tão auspicioso; desejou dar-lhe uma posição mais elevada e estudos superiores, destinando-o para médico, mas afinal, por conselho dos que admiravam a vocação tão decidida que a criança manifestava para o desenho, condescendeu em a aproveitar. Nasceu em Belém (Que, na época, pertencia à paróquia da Ajuda), Lisboa, na Rua da Ponte ao Pátio das Vacas, tinha duas irmãs, Maria Rosa e Maria Joaquina, e um irmão, Manuel Vicente, falecido em 1813 na Batalha de Vitória.