Nasceu na cidade gaúcha de Passo Fundo. Filho da cantora Clari Marson e do trompetista e violonista Algacir Costa, líder do grupo Os Fronteiriços, Yamandú cresceu em meio à música. Aos quatro anos, quando sua família apresentava-se num bar em Porto Alegre, seu pai chamou o garoto ao palco para cantar. Aos sete, Yamandú - que em tupi-guarani significa "precursor das águas" - começa a aprender os primeiros acordes no violão. Após dois anos, quando apresentava-se com um primo num bar de Maceió (AL), Yamandú descobriu aquilo que iria tornar-se a base de sua música: o improviso. Seu primo ao "abandoná-lo" no palco, enquanto tocavam Marina de Dorival Caymmi, provocou nervosismo no menino que, por não saber a musica direito, começou a improvisar. Sob protestos dos pais, Yamandú largou de vez os estudos e passou a se dedicar integralmente ao violão, exigência imposta por seu pai. A partir daí começou a estudar teoria com o próprio pai e, na noite boêmia, aprendeu a tirar músicas de ouvido. Suas maiores influências são Tom Jobim, Astor Piazzolla, Radamés Gnattali, o violonista argentino Lúcio Yanel, o som regional gaúcho e canções tradicionais latino-americanas. Em sua apresentação no Free Jazz de 2001, arrancou múltiplos aplausos da platéia, mostrando com energia seu estílo e presença de palco. No mesmo ano, lança Yamandú, seu primeiro trabalho, produzido por Maurício Carrilho.