Можно наверное вместо удаления пометить объект как ненужный...
go.hideFlags = HideFlags.HideAndDontSave;
А в целом можно наверное эти созданные объекты активировать и деактивировать, вместо удаления. Записывая их например в чайлды к основному объекту. В следующий раз делать поиск и активацию вместо создания.