Peu de choses sont connues sur l'histoire de Khalid, au début de la prédication de Mahomet. Son père était connu pour son hostilité envers Mahomet. À la suite de la migration de Mahomet de la Mecque à la Médine, de nombreuses batailles ont été menées entre la nouvelle communauté musulmane de Médine et la confédération des Quraysh. Khalid n'a pas participé à la bataille de Badr : la première bataille entre les musulmans et les Qurayshites - mais son frère Walid ibn Walid a été pris et capturé. Khalid et son frère aîné, Hasham ibn Walid, sont allés à Médine pour acheter Walid, mais peu de temps après, Walid a été renvoyé. Au cours du voyage à La Mecque, il s'est échappé et est retourné à Mahomet, et s'est ainsi converti à l'Islam. Le leadership de Khalid a contribué à la défaite musulmane lors de la bataille d'Uhud. En 627, il a participé à la bataille de la Tranchée, la dernière bataille de Khalid contre les musulmans.