Ответ: Маска текстуры
 

Чтобы не было окантовки надо рисовать объект не на чёрном фоне, а на фоне цвета его самого (например, ёлку - на зелёном фоне) И сделать альфаканал. Даже в режиме маскированной текстуры не будет окантовки т.к. маска будет рассчитываться из альфаканала а не по чёрным пикселям

Ответ: Маска текстуры
 

Чтото я немного непонял, как это сделать в фотошопе? Можно по подробней?

Ответ: Маска текстуры
 

Ты фотошоп хорошо знаешь? А то мож не стоит мучаться тебе обьснять - когда лучше залезть на сайт по фотошопу и научиться хоть принципам создания маски.