Скажем так. Всё зависит от задачи.
Если данные летят по сети и их реально много, то однозначно бинарные.
Для хранения на диске примерно так:
Если данные достаточно однотипны (например тайловая карта) то тут быстрее и удобнее писать её бинарно.
Ежели данные разнообразные - неравномерные, то проще текстом.
Упакованные данные конечно в бинарном виде.
Данные в которых только текст как ни странно в текстовом виде
Хотя текст и есть бинарные данные, но я твою мысль понял
Кстати, а если в текстовом виде байты чрез запятую написать это текстовый формат или нет?
Сугубо личное мнение.