По книге он не сволочь. Он просто попал под влияние Лидии Ивановны. Сам Каренин был не против отдать сына Анне, не был не против их встреч, но Лидия Ивановна убедила его, что правильнее будет, чтобы мальчик остался с отцом, не общался с матерью, и впридачу даже сказала мальчику, что его мать умерла.