В шейдер поступает либо две текстуры диффуз с альфой, либо одна 32 битная где альфа это дополнительные 8 бит например.
Затем, согласно альфа ордерингу, сначала рисуешь то что за прозрачной текстурой, затем рисуешь геометрию с этой альфой используя блендинг.
Если бы у тебя был доступ к d3d9 девайсу, кодам рендеринга и шейдеру то это было бы не сложно.
У тебя же получается хорс как черный ящик.
Я
где то видел (но там ссылка уже не работает) мануал хорса по шейдерам (точней по эффектам) от Кнайта - там вобщем то 90% рассказа это про d3d9 эффекты, а то что относится к хорсу там в конце немного.
Там в мануале есть инфа о том что хорс кидает на входные регистры в шейдер - вот если ты это соотнесешь с тем какая загруженная медия туда выводиться и напишешь свой шейдер то всё должно работать как тебе надо.