I november dro han tilbake til Frankrike og vandret rundt i Europa til fots, spesielt Italia og Alpene. Han ble forelsket i en fransk kvinne, Annette Vallon, og i 1792 fødte hun deres datter, Caroline. På grunn av pengemangel og den politiske spenningen mellom Frankrike og England reiste han hjem det samme året. Terrorstyret i 1793 fremmedgjorde ham overfor den republikanske bevegelsen og krigen mellom Frankrike og England hindret ham å se Annette og Caroline igjen på flere år. Med freden i Amiens kunne han igjen reise tilbake til Frankrike og i 1802 reiste han sammen med sin søster Dorothy og besøkte Annette og Caroline som han fikk en felles enighet med angående sine økonomiske forpliktelser.