После смерти матери в 1810 году Колл поселился недалеко от своего другого дяди в Теннесси, чтобы получить образование. В 1813 году он оставил колледж, чтобы принять участие в войне Красных палок, которая произошла в период войны 1812 года с Великобританией. Колл был дядей Уилкинсона Колла, который намного позже стал сенатором США.