質問: ラズパイ上で開発対象(Wifi、イーサネット等)は未定ですがカーネルをいじってみたいと考えてます。
回答: 諦めましょう。 カーネルの構築には、かなりの CPU パワーとディスクの速度が必要です。 Raspberry PI の CPU と、SD カードでやると、 何日もかかってしまいます。 普通は、Core i7 + SSD の高速な環境で、 ターゲットを arm プロセッサにしてクロスコンパイルで構築します。