BDB Bertsolaritzaren datu-basea

[EU] Tesi hau bertsolaritza kantu-ahots sintesi sistema berri baten garapenean zentratzen da, zuzeneko grabazioak oinarri gisa erabiliz. Lan honen erronka ez da soilik kantu-ahots sintesi sistema bat martxan jartzea. Bertsolaritza grabazioen corpusak bertso inprobisatuen transkripzioak ditu, baina grabazio artxiboek kantuahotsa ez diren hainbat elementu dituzte. Grabazioa gehienak zuzeneko saioak direnez, hizlarien ahotsa, jendearentxaloak eta zarata datu-basearen parte dira. Gainera, kantu-ahotsa ez dago etiketatua datu-basean. Ezaugarri hauek dituen datubase batekin, lan honen helburua bertsolaritza audioak garbitu, segmentatu eta etiketatzeko metodoak sortzea da, ondoren datu horiek kantu-ahotsaren sintesi ereduak sortzeko balio duten aztertzeko.

Grabazioetan kantu-ahots segmentuak automatikoki lortzeko metodoak garatu ditugu, hizketa eta kantu-ahotsa bereizten dituzten algoritmoak sortuz. Interbentzioen eta fonemen segmentazioa burutu dugu kantari anitzeko datubasean. Proposatutako segmentazio algoritmoek etorkizunean ager daitezken bertsolari berrien grabazioak segmentatzeko gaitasuna dute. Ondoren, bertsolaritza artearen propietate musikalak aztertu ditugu eta datu-baseko melodia teorikoak eta haien interpretazioa alderatu ditugu. Sistema automatikoak definitu ditugu bertsolarien kantu-ahotsa musikalki etiketatzeko. Etiketatze honek vibratoa kontuan hartzen du eta honen erabilera aztertu dugu bertsolari bakoitzean. Lortutako etiketatze sistema guztien ebaluazioa egin dugu prozesuan zehar.

Etiketatutako bertso grabazioen datu-basea sortu ondoren kantu-ahots sintesi sistemak sortu ditugu HMM eta DNN-ak erabiliz. Sistema hauei pitch noriii malizazioa, tempo egokitzapena eta vibrato iragarpen teknikak gehitu dizkiegu. Metodo bat definitu dugu partiturak bertsolari bakoitzera automatikoki egokitzeko hauen pitch tartea kontuan hartuz. Bertsolari desberdinetarako sortutako sintesi ereduak modu subjektibo eta objektiboan ebaluatu ditugu emaitza onak lortuz.

Tesi honen ekarpenak bertsolaritza eta kantu-ahotsaren sintesiarekin erlazionatzen dira. Informazio maila berriak gehitu dizkiogu bertsolaritza corpusari, kantuahotsaren segmentazioarekin, interbentzioen segmentazi- oa, fonemen segmentazioa eta etiketatze musikalarekin. Etiketatzeko metodo hauek ez dute inolako kontrolik behar eta, beraz, etorkizunean datu-base etiketatuak handitzeko tresnak sortu ditugu. Kantari anitzeko datu-base bat sortu dugu, artearen egoerako beste kantu-ahots datubaseak baina handiago dena. Azkenik, bertsolaritza kantu-ahotsa sintetizatzeko sistemak definitu ditugu kantari eta teknologia desberdinekin, emaitza positiboak lortuz.


[EN] This thesis focuses on the development of a new bertsolaritza singing voice synthesis system using as base original bertsolaritza live session recordings. The challenge of this work is not only the implementation of a singing voice synthesis system. The recorded corpus of bertsolaritza contains the transcriptions of improvised verses, butthe audio files contain multiple elementsthat are not singing voice. As the majority of the recorded audios are live sessions, the voice of a speaker, applause of the public and noise are part of the database. In addition, the musical labeling of the singing voice is not included in the database. With a database of these properties, the aim of this work is to create methods to clean, segment and label the audios in the bertsolaritza and analyze the possibility of using them to create synthesis models for bertsolaritza singing voice synthesis.

We have developed methodsto automatically obtainthe singing voice segments in the recordings, creating new speech and singing voice classification algorithms. The segmentation of bertso utterances and phonemes has been performed in a multi-singer database. The segmentation algorithms proposed have the capacity to align material from unseen bertsolaris in the future. After that, we analyzed the musical properties of the bertsolaritza art and compared the theoretical melodies in the database with the actual interpretation of them. We defined automatic systems to musically label the bertsolaritza singing voice generating a fully labeled bertsolaritza database. Musical labeling included vibrato and we analyzed the use of it in each bertsolari. We evaluated all automatic labeling systems in the process.

After creating a labeled database of bertso recordings we generated singing voice v synthesis systems using HMMs and DNNs. We included f0 normalization, tempo adaptation and vibrato prediction techniques in these systems. We defined methods to automatically adapt music scores for each bertsolari considering the pitch range of each bertsolari. We evaluated synthesis models created for different bertsolaris in a subjective and objective way obtaining good results.

The contributions ofthisthesis are relatedto bertsolaritza and singing voice synthesis. We added new information levels to the bertsolaritza corpus with the segmentation of singing voice, the alignment of utterances and phonemes and the subsequent musical labeling. These labeling methods need no manual supervision and therefore we created tools to increase the labeled database in the future. We created a multi-singer singing voice database that is considerably bigger than any state of the art singing voice databases. Finally we defined systems to synthesize bertsolaritza singing voice using different singers and technologies obtaining positive results.