Так дерево изначально рендерится (без теней) на черном фоне.
Потом оно красится в черный цвет, под него ставится белый куб, включаются тени, опять рендерится, потом прога отсекает белое и черное, получает маску тени, ложит ее прозрачным тоном на конечную картинку, а сверху кладет рендер дерева без теней, точнее, все пиксели, отличные от черного. Т.е. по-сути, никакой обводки не должно быть, и у меня в проге тоже ничего такого нету. Все протестировано
