永淳元年(682年)，丘神绩担任左金吾卫将军。

弘道元年(683年)，唐高宗去世。光宅元年(684年)，武则天派丘神绩前往巴州(今四川省巴中市巴州区)监视章怀太子李贤。同年二月二十七日(3月18日)，丘神绩奉武则天之命杀害李贤，事后武则天竟归罪于丘神绩，将他贬任叠州(今甘肃省迭部县)刺史。

不久，丘神绩复职回京，担任左金吾卫将军，深受武则天的宠爱与信任。曾奉命与周兴、来俊臣审讯制狱中监禁的犯人，都被人们称作酷吏。

垂拱四年(688年)，博州刺史、琅邪王李冲在博州(今山东聊城东北)起兵反叛，武则天任命丘神绩为清平道大总管。不久，李冲遭百姓孟青棒、吴希智所杀。丘神绩到达博州后，官吏们都穿着白色的孝服来迎接他，丘神绩因无叛可平，而将挥刀把他们全部杀死，残害一千余家，于是加任左金吾卫大将军。

当时李冲之父豫州刺史、越王李贞亦在豫州(今河南汝南)起兵呼应。武则天分遣丘神绩、魏崇裕击之。

天授元年(690年)，有人告发周兴与丘神绩等阴谋造反。天授二年(691年)十月，武则天下令处死丘神绩，五城兵马使武三思监斩，斩于太乙门前的菜市口。

神龙初年，武则天禁锢丘神绩的子孙。