Andros nasceu em Londres em 6 de dezembro de 1637. Amice Andros, seu pai, era bailio de Guernsey e um ardente defensor de Carlos I. Sua mãe era Elizabeth Stone, cuja irmã era uma cortesã da irmã do rei, Rainha Elizabeth da Boêmia. Embora se tenha afirmado que Andros esteve presente na rendição em 1651 do Castelo Cornet de Guernsey, o último reduto monarquista a render-se na Guerra civil inglesa, não há nenhuma forte evidência que sustente isto. É possível que Andros tenha fugido de Guernsey com sua mãe em 1645. Em 1656, foi aprendiz de seu tio, Sir Robert Stone, capitão de uma companhia de cavalaria. Andros, em seguida, serviu nas duas campanhas de inverno na Dinamarca, incluindo a ajuda a Copenhague em 1659. Como resultado dessas experiências, adquiriu fluência em francês, sueco e holandês. Permaneceu um firme defensor dos Stuarts, enquanto eles estavam no exílio. Carlos II, depois de sua restituição ao trono, especificamente elogiou a família Andros por seu apoio.