"Литва дворовая" начала появляться в ходе войн конца XV — начала XVI века, когда значительное количество литовской шляхты попало в плен в ходе первых русско-литовских войн или добровольно перешло на сторону Московского государства. Много пленных было захвачено в битве на Ведроше 1500 года, большинство из них насильно содержалось московским правительством и после окончания войны. Как правило, им не доверяли службу на западных рубежах Московского государства и они использовались в военных действиях на юге и востоке. Так, литовские «огненные стрельцы» отличились в 1505 году при обороне Нижнего Новгорода от татар. После присоединения Смоленских, Брянских и Черниговско-Северских земель к Московскому государству, большая часть местных бояр приняла московское подданство. В результате мятежа Михаила Глинского в 1508 году в Москву выехало много его сторонников, в том числе князья Друцкие и Козловские, дворянин Якуб Ивашинцов и другие.