Потому что трёхмерность пространства определяет основные соотношения в физике, такие как обратноквадратичная зависимость силы притяжения от расстояния и силы взаимодействия двух заряженных частиц и тд. Будет пространство с другим количеством измерений - и все фундаментальные соотношения будут другими. Поэтому трёхмерное пространство придумано не потому, что у кого-то не хватило чисел в голове, а потому что оно следует из опытов и наблюдений.
На эти три измерения можете лепить сколько угодно тензоров, тогда противоречий не будет, но мешать вектора тензоров разных порядков, приплюсовывая их к друг другу - это всё равно что складывать метры и килограммы.