когда с дедом - это приехали дети (не дед) и я точно знаю, что они были в школе, поэтому приехали из школы (это относится к детям, не к деду), а когда со мной, то я могу даже за забор школы не заходить вообще, поэтому в данном случае для меня школа - это не школа, как здание, заведение, а скорее как процесс моей езды туда  - поэтому я приезжаю со школы