Dziękuję wszystkim za odpowiedzi :)
Na razie zoptymalizowałem atlasy, żeby zmniejszyć ilość texture swapów.
Na początku na tej największe było prawie 2000 texture swapów swapów
Pierwszym krokiem było wrzucenie do jednego atlasu wszystkich elementów rur i mapy
Ilość swapów spadła do 300-400
Miałem jeszcze trzy przyciski na interfejsie które też dodałem do atlasu z rurami
Ilość swapów spadła do 10-15, FPS się unormował ~40 na moim telefonie
Pobawiłem się trochę w debugerze profilowaniem i znalazłem kilka słabych miejsc w stepie, co zmniejszyło ilość obliczeń
Dopisałem też, żeby rury nie próbowały się rysować poza widzialnym obszarem co powinno przyspieszyć grę na wolnych telefonach, ale tylko w przypadku zooma