Там нет ничего сложного, просто меньшую площадь нужно вычитать из большей, соответственно при вычитании из большей высоты меньшей их разность все равно получится равной основанию, как и при суммировании, когда точка находится внутри квадрата. Это можно трактовать, как отрицательную высоту и соответственно отрицательную площадь - ничего в общем-то неестественного в данном моменте нет.