Formada por Peter “Peavy” Wagner em 1983 na Alemanha fazendo covers de seus artistas prediletos assim como Mötorhead, Black Sabbath, Venom. O Avenger logo chamou atenção pelo power/speed metal, visual carregado (rebites, correntes, couro), e sua energética presença de palco tendo o carismático vocalista “Peavy” como líder da banda.
Com pouco tempo de ensaio e alguma experiência ao vivo, o Avenger em meados de 1983 entra em estúdio para gravar sua primeira demo ,sob o titulo “Faster Than Hell”. Com apenas quatro musicas (que posteriormente seriam gravadas para o Full-lenght), a banda mostra que estava à frente de seu tempo. Mostrando garra e vontade, com temas pseudo-satanicos com um pouco de humor. Musicas como, “Battlefield”, “Adoration”, “Sword Made of Steel” e a faixa título “Prayers of Steel” ( que nos dias de hoje ainda faz parte do set do Rage em algumas apresentações) logo conquistou uma legião de fãs.
O Avenger também contava com o conhecidíssimo baterista Jörg Michael (Stratovarius, Running Wild, Headhunter e muitos outros) que já demonstrava seu talento no inicio de carreira. Os outros membros da banda eram os guitarristas Jochen Schöder e Thomas Grüning o primeiro chegou a fazer parte do Mekong Delta.
No mesmo ano o Avenger ainda grava mais duas demos intituladas demo e demo 3. Agora com bastante experiência, a banda finalmente grava o seu Full Leght ,“Prayers of Steel“, que logo se tornaria um clássico quase que obrigatório para os fãs do estilo.
Após o lançamento do disco a banda começa fazer sua, tour de estreia que inclui além de sua terra natal, Suiça, Austria, Polonia.
Praticamente sem descanso, sempre ensaiando e ou tocando em bares/clubes surgiram novas musicas que posteriormente foram gravadas em mais duas demos intituladas demo 84’ e demo 85 ‘. Com algumas horas de gravação sobrando o Avenger decide gravar um Ep. “Depraved to Black” que saiu em meados de 1985 com duas musicas inéditas “Depraved to Black”, “Down to the Bone” e dois registros ao vivo a banda é obrigada a mudar de nome devido já existir uma banda inglesa com o mesmo nome que possuía os direitos autorais do mesmo.
O nome escolhido foi Furious Rage que mais tarde se tornou o que hoje conhecemos como Rage, mas isso é outra história.