Tak, GMS 1.4 radzi sobie z wektorową grafiką, ale z tego co wiem wspiera jedynie format SWF: https://help.yoyogames.com/hc/en-us/articles/216755938--GMS-S-Vector-Sprites
GameMaker nie rastruje wektorów do bitmapy jako tekstura, tylko posługuje się poligonami, więc skalowanie takich sprite'ów nie powinno dawać efektu pikseli.