Andrew Barton var den eldste sønnen til sjøoffiser John Barton fra Leith ved Edinburgh i Skottland som ble drept i portugisisk fangenskap i 1476. Som sin far og farfar ble Andrew Barton også en berømt skotsk sjøkaptein. Hans bror, Sir Robert Barton, var en tilsvarende berømt sjøoffiser, og sammen har de blitt kalt «grunnleggerne av den skotske marine» under kong Jakob IV av Skottland.