Nascido em 3 de outubro de 1949, Zé começou sua carreira como Zé Ramalho da Paraíbacantando em conjuntos de baile inspirados na jovem guarda e no rock inglês. O interesse pelos violeiros e pala literatura de cordel só surgiria depois, ao participar da trilha sonora do filme Nordeste: cordel, repente e canção, de Tânia Quaresma, em 1974. Por conta desse trabalho, Zé se mudou para o Rio de Janeiro (RJ), acompanhado por outros cantores nordestinos. Naquele mesmo ano, lançou seu primeiro disco, uma parceria com Lula Côrtes.
Logo Zé estava tocando viola na banda de Alceu Valença, em cujo show ele tinha chance de interpretar uma composição sua. Mas a oportunidade foi por água abaixo quando Zé resolveu modificar o roteiro de uma das apresentações da turnê. O público gostou, mas Alceu detestou e rompeu com o colega. A amizade só seria recuperada um ano depois, quando Alceu incluiu, de surpresa, uma música de Zé em seu novo espetáculo. 
Sobreviver no Rio não era fácil. Zé precisou dormir em bancos de praças e trabalhar em gráfica para poder continuar apostando em seu próprio talento. Em 1977, foi convidado pelo produtor Augusto César Vanucci a ir a São Paulo (SP) participar da gravação da música “Avôhai”, composição sua que seria incluída no novo disco da cantora Vanusa. E assim ele ia ganhando nome e conseguindo dinheiro. No mesmo período, Zé lançou o folheto de cordel “Apocalipse agalopado”.
No ano seguinte, ele gravou seu primeiro disco solo, que não só incluía “Avôhai” como também “Vila do Sossego”, “Chão de Giz” e “Bicho de Sete Cabeças”. A crítica elogiou seu trabalho e o público o comprou, maravilhados com as letras cheias de imagens míticas e o tom profético das interpretações. Resultado: Zé ganhou prêmio de melhor cantor revelação da Associação Brasileira de Produtores de Disco e da Rádio Globo.
A carreira do paraibano se consolidou em 1979, quando ele lançou seu maior clássico, “Admirável Gado Novo”, e o grande sucesso “Frevo Mulher”.
