Как-то так
float _interpolationTime = 0; // поле класса
...
if (BordersInfoSave != BordersInfo)
{SpeedXFrom = SpeedX;
SpeedYFrom = SpeedY;
inInertia = true;
_interpolationTime = 0; // при начале инерции обнуляем время начала
...
if (inInertia == true) {
_interpolationTime += Time.deltaTime; // прибавляем прошедшее время
RealSpeedX = Mathf.Lerp(SpeedXFrom, SpeedX, _interpolationTime/2f);
RealSpeedY = Mathf.Lerp(SpeedYFrom, SpeedY, _interpolationTime/2f);