Aprendió a tocar el violín de pequeño, pero pronto lo sustituyó por la guitarra eléctrica. Comenzó su periplo en la música profesional con la banda The Dictators en 1973. Más tarde formó parte del grupo Shaking Streets, con los que, teloneando a Blak Sabbath, conoció a Joey DeMaio que por entonces estaba en el susodicho grupo Black Sabbath, con el que congenió y juntos concibieron el famoso grupo de heavy metal Manowar, donde Ross permaneció hasta 1988 y fue sustituido por David Shankle tras su marcha.

En la decada de los 90, Ross formó una nueva banda, Heyday, de estilo cercano al blues rock, y también tocó con su compañero de los Dictators, Handsome Dick Manitoba, en la banda de este último, Manitoba's Wild Kingdom.

En 2004, Ross se unió a la banda The Brain Surgeons de Albert Bouchard -batería original de Blue oyster Cult-, con los que ha publicado dos discos.

A lo largo de su carrera, ha colaborado con diversas bandas, como The Hellacopters, The Nomads, Majesty o Wotan (band), así como producido discos, tanto para sus bandas -Manowar, The Dictators- como para otras (Anthrax, Blacklace).