Чтото помучил, вроде заработало. Передавал так:
Global mesh2=xLoadMesh("./data/mesh/plant/grass1nr.b3d")
tx2=xLoadTexture("./data/mesh/plant/grass1nr.png",4)
xSetEntityEffect mesh2,LODFX
xSetEffectTechnique mesh2,"LODHI"
xSetEffectMatrixSemantic mesh2,"matWVP",WORLDVIEWPROJ
xSetEffectTexture mesh2,"iTEX",tx2
xSetEffectFloat mesh2,"DistHiPoly",7
Текстура то теперь передается, а вот то что она маскированная - шейдеру пофиг