Heino nació en Dusseldorf en 1938. Su padre moriría en 1941 en la Segunda Guerra Mundial y tuvo que ser cuidado por su madre. Siempre estuvo interesado en cantar y decide dedicarse a ello de forma profesional. En 1955 debuta en un escenario y en 1961 formaría parte de un trío de cantantes llamado OK Singers, pero no saltaría a la fama hasta años después.

En 1965 un agente llamado Ralf Bendix se fija en él y decide producir su primer sencillo, llamado Jenseits des Tales. El tema fue un éxito logrando vender más de 100.000 copias, y a partir de ahí Heino comenzó a grabar más canciones y realizar varias giras. En los años 70 varios de sus temas aparecen en televisión y en 1972 interpretaría su mayor éxito hasta la fecha, Blau bluht der Enzian, con el que llegó a alcanzar la segunda posición en las listas alemanas, y es su periodo de mayor éxito. En 1977 llega incluso a realizar un programa de televisión en ZDF llamado Sing mit Heino

Durante los siguientes años Heino continuaría grabando singles y participando en programas de televisión, realizando también una gira por países extranjeros como los Estados Unidos o Canadá, y actuando en diversos festivales como estrella del género musical. Actualmente su carrera sigue en activo, tras grabar más de 50 singles y varios álbumes recopilatorios, vendiendo aproximadamente más de 30 millones de copias de sus discos.