─░├žeri─če ge├ž

­čôÜMakale okumalar─▒-volm.2

Multiple-Attribute Text Style Transfer 

Metinlerde ├çok-Nitelikli Stil Transferi 


G├Âr├╝nt├╝ler ├╝zerinde stil transferi uygulamalar─▒n─▒n yaratt─▒─č─▒ ┼čahanelerle mutlaka kar┼č─▒la┼čm─▒┼čs─▒n─▒zd─▒r.ÔÇŐÔÇöÔÇŐHen├╝z kar┼č─▒la┼čmam─▒┼č olanlar─▒ Ayy├╝ce K─▒zrak hocan─▒n blog yaz─▒s─▒na do─čru alay─▒m­čĄŚÔÇŐÔÇöÔÇŐ├çok da be─čenmedi─činiz bir ├žiziminizin ├žok sevdi─činiz bir ressam─▒n en ├╝nl├╝ eserinin stiline b├╝r├╝nmesi fazlas─▒yla harika de─čil mi ­čĄę Ama bu yetenek yaln─▒zca g├Âr├╝nt├╝ i┼čleme ile s─▒n─▒rl─▒ kalmasa ve do─čal dildeki metinler ├╝zerinde de yap─▒l─▒yor olsa daha da hayranl─▒k yarat─▒c─▒ olmaz m─▒ ­čśç

├çal─▒┼čmada ├Ânerilen modelin, sosyal medya verileri ├╝zerine uygulanmas─▒yla elde edilen sonu├žlardan baz─▒ ├Ârnekler. Her bir kutudaki ilk sat─▒r, orijinal ├Âzniteli─če sahip veriyi ve ikinci sat─▒r verilen yeni ├Âzniteli─če g├Âre ├╝retilen metni g├Âsterir.

Bu g├Ârev asl─▒nda Do─čal Dil ─░┼čleme alan─▒nda daha ├Ânce pek ├žok ara┼čt─▒rmac─▒n─▒n ilgi oda─č─▒ oldu ancak bu hafta inceledi─čim ICLR 2019’da sunulmu┼č olan ÔÇťMultiple-Attribute Text Style TransferÔÇŁisimli konferans bildirisi ya┼č, cinsiyet, duygu gibi birden fazla ├Âznitelik i├žin metinler ├╝zerinde stil transferi yapabilmesi y├Ân├╝yle olduk├ža ses getirdi ­čÄâ


­čôŁMetni Kontroll├╝ Olarak Tekrar Yazma 

Var olan bir metnin farkl─▒ ├Âzelliklere g├Âre tekrar yaz─▒lmas─▒ g├Ârevi, bu ├žal─▒┼čman─▒n temel amac─▒n─▒ olu┼čturmakla beraber do─čal dil i┼čleme alan─▒n─▒n ilgin├ž g├Ârevlerinden de biridir. 

Nas─▒l ki telefonunuzla ├žekti─činiz s─▒radan bir foto─črafa PicassoÔÇÖnun Dora Maar au Chat tablosunun stilini transfer ederek, deyim yerindeyse foto─čraf─▒ ba┼čtan yarat─▒yorsak; bu kez de yaz─▒lan bir metnin farkl─▒ cinsiyette, farkl─▒ ya┼čta veya farkl─▒ bir duyguyla yaz─▒lm─▒┼č olmas─▒ durumunda metnin nas─▒l ba┼čtan ba┼ča de─či┼čiklik g├Âsterece─čini g├Âzlemleme g├Ârevi ile kar┼č─▒ kar┼č─▒yay─▒z ­čĄę

Bu zorlu g├Ârevi ger├žekle┼čtirmek ├╝zere tasarlanan modellerin ba┼čar─▒m─▒n─▒n de─čerlendirilmesinde 3 kriter ├Ânem arz eder:

  • ├ťretilen metnin ak─▒c─▒ olmas─▒
  • Belirtilen transfer edilecek ├Âznitelikleri yans─▒tmas─▒
  • Girdinin ├Âzniteliklerden etkilenmeyen k─▒s─▒mlar─▒n─▒n korunmas─▒

├çal─▒┼čmada ├Ânerilen ve yukar─▒da s─▒ralanan kriterlere g├Âre olduk├ža ba┼čar─▒l─▒ sonu├žlar ├╝reten algoritman─▒n ayr─▒nt─▒lar─▒na bakal─▒m Ôťî­čĆ╗


­čŤá´ŞĆ Ara┼čt─▒rmac─▒lar─▒n Yakla┼č─▒m─▒

├çal─▒┼čmada kullan─▒lan e─čitim k├╝mesi n tane c├╝mlenin her birinin x ve c├╝mleye ait ├Âzniteli─čin y ile temsil edildi─či D(x,y) ikililerinden olu┼čmaktad─▒r. G├Ârev ise her bir x girdic├╝mlesini (├Âzniteli─či y olan), (x,yÔÇÖ) ├žiftine haritalayacak bir F: X x Y Ôćĺ X modeli ├Â─črenmektir.

├ľnerilen mimaride haritalama, ├Âncelikle x c├╝mlesininÔÇŐÔÇöÔÇŐz=e(x) ┼čeklinde kodland─▒─č─▒ ve ard─▒ndan xÔÇÖ=d(z,yÔÇÖ) ┼čeklinde kodun ├ž├Âz├╝ld├╝─č├╝ÔÇŐÔÇöÔÇŐsequence-to-sequence bir oto kodlay─▒c─▒-kod ├ž├Âz├╝c├╝ (auto encoder-decoder) ile ger├žekle┼čtirilmi┼čtir. Ayr─▒ca model taraf─▒ndan ├╝retilen yeni xÔÇÖ c├╝mlesi de ┼čifreleyiciye girdi olarak verilerek, ideal olan orjinal x c├╝mlesini elde etmek i├žin orjinal yÔÇÖi kullanarak kodun ├ž├Âz├╝lmesini sa─člamak ├╝zere e─čitilmi┼čtir. Bir nevi tersine m├╝hendislik yakla┼č─▒m─▒ olarak g├Âr├╝lebilecek bu y├Ântem back- translation (BT) olarak isimlendirilmektedir. Bu ilgin├ž yakla┼č─▒m─▒n 2 faydas─▒ g├Âr├╝lm├╝┼čt├╝r. ─░lk fayda, oto-kodlay─▒c─▒-kod ├ž├Âz├╝c├╝ iyi e─čitilememesi durumunda xÔÇÖ orjinal x c├╝mlesinin i├žeri─čini kaybetti─činde g├Âze ├žarpar. Bu durumda kod ├ž├Âz├╝c├╝ye sa─članan tek yararl─▒ bilgi y ├Âzniteli─čidir ve bu sebeple kod ├ž├Âz├╝c├╝ ├Âzniteliklerinden maksimum d├╝zeyde faydalanmaya te┼čvik edilir. Bir di─čer fayda ise, e─čitimin ba┼čar─▒l─▒ oldu─ču durumlarda; istenen g├Ârevde BT sequence-to-sequence e─čitim yap─▒lmas─▒na yard─▒mc─▒ olur.

Genel olarak, 

de─čeri minimize edilir. Burada pd kod ├ž├Âz├╝c├╝ taraf─▒ndan ind├╝klenen x sekans─▒ ├╝zerindeki olas─▒l─▒k da─č─▒l─▒m─▒ ve e(xc) ise x girdisinin bozuk bir xc s├╝r├╝m├╝ ile beslendi─čindeki kodlay─▒c─▒ ├ž─▒kt─▒s─▒d─▒r. Di─čer taraftan d(e(x),yÔÇÖ), rastgele ├Ârneklenmi┼č yÔÇÖ ├Âznitelik k├╝mesiyle yaz─▒lm─▒┼č x girdi c├╝mlesinin bir varyasyonudur.

Asl─▒nda bu model, b├╝y├╝k ├Âl├ž├╝de 2018 y─▒l─▒nda yay─▒nlanan ÔÇťPhrase-based & neural unsupervised machine translationÔÇŁ isimli makine ├ževirisi ├žal─▒┼čmas─▒ndaki mimariden beslenmi┼čtir. Fakat ele al─▒nan problemin do─čas─▒ gere─či, kod ├ž├Âz├╝c├╝n├╝n ├╝retti─či ├ž─▒kt─▒n─▒n makine ├ževirisinde oldu─ču gibi girdi metninden bamba┼čka bir formda olmas─▒ de─čil; girdi c├╝mlesinin ├╝zerine ilgili ├Âzniteli─čin ay─▒rt edici k─▒s─▒mlar─▒n─▒n yans─▒t─▒lm─▒┼č olmas─▒ beklenmektedir. Ayr─▒ca bu yap─▒, sistemde ikili ├Âznitelik de─či┼čiminin yap─▒lmas─▒ ile s─▒n─▒rl─▒ kalmaktad─▒r ve i├žeri─čin korunmas─▒ ile ├Âzniteli─čin de─či┼čimi aras─▒ndaki ├Âd├╝nle┼čim konusunda ara┼čt─▒rmac─▒lara yeterince kontrol vermemektedir. Bu s─▒n─▒rlamalar─▒ gidermek i├žin ise ├žal─▒┼čmada a┼ča─č─▒daki bile┼čenler sunulmu┼čtur : 

  • ├ľznitelik ko┼čulland─▒rma : Birden fazla ├Âzniteli─či i┼člemek i├žin, her bir hedef ├Âznitelik de─čeri ayr─▒ ayr─▒ i┼členir ve daha sonra onlar─▒n g├Âmmelerinin (embeddings) ortalamas─▒ al─▒n─▒r. Ard─▒ndan ortalama g├Âmmeler bir sembol dizisinin ba┼člang─▒c─▒ ┼čeklinde kod ├ž├Âz├╝c├╝ye verilir. Ayr─▒ca kod ├ž├Âz├╝c├╝n├╝n ├ž─▒kt─▒ katman─▒n─▒n her bir ├Âznitelik i├žin farkl─▒ bir ├Ânyarg─▒ (bias) kulland─▒─č─▒ bir yakla┼č─▒m da denenmi┼čtir. Bu yakla┼č─▒mla, ├Â─črenilen ├Ân yarg─▒lar─▒n temsil ettikleri ├Âzniteliklerin etiketlerini yans─▒tma e─čiliminde oldu─čunu g├Âzlenmi┼čtir. ├ľ─črenilen ├Ân yarg─▒ ├Ârnekleri a┼ča─č─▒daki tabloda g├Âr├╝lebilir.
Yelp veri k├╝mesindeki duygu ve restoran kategorileri i├žin ├Â─črenilen ├Âznitelik ├Ânyarg─▒lar─▒na (bias) ├Ârnekler.
  • Gizli temsil havuzu : Her girdi s├Âzc├╝─č├╝n├╝n ba┼č─▒na bir gizli vekt├Âr temsili hesaplayan modeller daha ├žok tek tek kelime de─či┼čtirme yakla┼č─▒m─▒n─▒ benimserken, dikkat (attention) kullanmayan modeller daha ├žok i├žeri─či kaybetme e─čilimindedir. Bu nedenle kodlay─▒c─▒n─▒n ├╝st├╝ne birbiri ile ├Ârt├╝┼čmeyen geni┼člik pencereleri (w) olan bir temporal max-pooling katman─▒ eklenerek, daha iyi kontrol sa─članmas─▒ ├Ânerilmi┼čtir. wÔÇÖnin ara de─čerleri (1’den ve sekans uzunlu─čundan farkl─▒ de─čerler) girdi c├╝mlesi hakk─▒ndaki bilgilerin korunmas─▒ ile kod ├ž├Âz├╝c├╝n├╝n kelimeleri tek tek kopyalamaya daha az e─čilimli hale getirilmesi aras─▒nda farkl─▒ dengelemeyi sa─člar.
  • Model Mimarisi : Dikkat mekanizmas─▒ ile g├╝├žlendirilmi┼č 2 katmanl─▒ ├žift y├Ânl├╝ LSTM ve 2 katmanl─▒ kod ├ž├Âz├╝c├╝ LSTM ile parametrelenen bir kodlay─▒c─▒ kullan─▒lm─▒┼čt─▒r. Hem LSTMÔÇÖler hem de kelime g├Âmme arama tablolar─▒ s─▒f─▒rdan e─čitilmi┼č ve 512 gizli ├╝niteye (hidden unit) sahiptir. Her ├Âzellik de─čerini g├Âmmek i├žin ise 512 gizli birim i├žeren ba┼čka bir g├Âmme arama tablosu kullan─▒lm─▒┼čt─▒r. 

­čžę Veri K├╝meleri

Literat├╝rde benzer konuda yap─▒lan ├žal─▒┼čmalarda s─▒kl─▒kla kullan─▒lan Yelp Restaurant (Yelp Reviews) ve Amazon ├ťr├╝n Yorumlar─▒ (Amazon Reviews) veri k├╝meleri bu ├žal─▒┼čma da tercih edilmi┼čtir. Di─čer taraftan a├ž─▒k olarak yay─▒nlanan sosyal medya i├žeri─či ile olu┼čturulan bir di─čer veri k├╝mesi de ├žal─▒┼čma kapsam─▒nda kullan─▒lm─▒┼čt─▒r.

­čôŹ Yelp Reviews : Bu veri k├╝mesi Yelp Dataset ChallengeÔÇśda olu┼čturulan restoran ve i┼č yorumlar─▒ndan olu┼čmaktad─▒r. Bu veriler do─črudan kullan─▒lmayarak 4 temel ├Ân i┼člemden ge├žirilerek, veri k├╝mesi tekrar d├╝zenlenmi┼čtir.

­čöŞ FastText s─▒n─▒fland─▒r─▒c─▒s─▒na g├Âre ─░ngilizce yaz─▒lmam─▒┼č yorumlar silinmi┼čtir.

­čöŞRestoranlar hakk─▒nda olmayan yorumlar silinmi┼čtir.

­čöŞ 3/5 y─▒ld─▒za sahip ve bu sebeple duygu olarak n├Âtr olarak kabul edilen yorumlar silinmi┼čtir.

­čöŞ Cinsiyet bilgisinin sa─čl─▒kl─▒ olmad─▒─č─▒ yorumlar silinmi┼čtir.

T├╝m bu ad─▒mlar─▒n ard─▒ndan hem duygular hem de cinsiyet etiketlerinin ikili olarak ifade edilmesi sa─članm─▒┼čt─▒r (1/0). Di─čer taraftan restoran kategorileri Asya, Amerikan, Meksika, Barlar ve Tatl─▒ olmak ├╝zere 5 s─▒n─▒f ┼čeklinde d├╝zenlenmi┼čtir.

­čôŹ Amazon Reviews : Amazon ├╝r├╝nlerinin t├╝keticileri taraf─▒ndan yaz─▒lan incelemelerden olu┼čan bir veri k├╝mesidir. Profiline cinsiyet bilgisini de ekleyen az say─▒da kullan─▒c─▒ bulundu─ču i├žin, cinsiyet etiketlerinin toplanmas─▒ hari├ž, Yelp veri k├╝mesindeki ile ayn─▒ ├Ân i┼čleme ad─▒mlar─▒n─▒ izlenmi┼čtir. ─░ncelemeler Kitaplar, Giyim, Elektronik, Filmler, M├╝zik olmak ├╝zere 5 ├╝r├╝n kategorisi ile etiketlenmi┼čtir.

­čôŹ Sosyal Medya ─░├žeri─či : Di─čer veri k├╝melerinin yan─▒ s─▒ra farkl─▒ kategorilerdeki ├Ârneklerdeki yakla┼č─▒m─▒ g├Âstermek i├žin,─░ngilizce konu┼čan ki┼čilerin herkese a├ž─▒k olarak yapt─▒─č─▒ sosyal medya payla┼čla┼č─▒mlar─▒ndan olu┼čturulan veri k├╝mesidir. ─░├žerik hakk─▒nda 3 ba─č─▒ms─▒z bilgi par├žas─▒ kullan─▒lm─▒┼čt─▒r; cinsiyet (erkek/kad─▒n), ya┼č grubu (18ÔÇô24 veya 65+) ve yazar-a├ž─▒klamal─▒ duygu (rahat veya rahats─▒z). Verilerdeki g├╝r├╝lt├╝n├╝n azalt─▒lmas─▒ i├žin, her ├Âznitelik i├žin bir fastText s─▒n─▒fland─▒r─▒c─▒s─▒ e─čitilmi┼č ve yaln─▒zca belirli bir g├╝ven e┼či─činin ├╝zerindeki veriler dahil edilmi┼čtir.

├çal─▒┼čmada kullan─▒lan farkl─▒ veri k├╝meleri i├žin her bir ├Âzniteli─če ba─čl─▒ inceleme say─▒s─▒

­čĺą Ba┼čar─▒m─▒n De─čerlendirilmesi

Metin ├╝reten modellerin de─čerlendirilmesi hala a├ž─▒k bir ara┼čt─▒rma problemidir. Bu ├žal─▒┼čmada ama├žlanan 3 temel hedef oldu─ču i├žin, ├Ânerilen modeller de 3 farkl─▒ boyutta de─čerlendirilmesinin daha do─čru olaca─č─▒ d├╝┼č├╝n├╝lm├╝┼čt├╝r.

├ľnerilen sistemin 3 temel hedefi:

1) ├Ânceden belirlenmi┼č nitelikler k├╝mesine uyan c├╝mleler ├╝retmek,

2) girdinin yap─▒s─▒n─▒ ve i├žeri─čini korumak ve

3) ak─▒c─▒ bir dil kullanmakt─▒r.

3 farkl─▒ de─čerlendirme kriteri :

­čö╣ ├ľznitelik kontrol├╝: Farkl─▒ ├Âznitelikleri tahmin etmek i├žin veri k├╝meleri ├╝zerinde e─čitilmi┼č FastText s─▒n─▒fland─▒r─▒c─▒lar─▒ kullan─▒larak, ├Âzniteliklerin ne kadar do─čru yans─▒t─▒ld─▒─č─▒ ├Âl├ž├╝lm├╝┼čt├╝r.

­čö╣Ak─▒c─▒l─▒k: Ak─▒c─▒l─▒k, ├Ânceden e─čitilmi┼č bir KneserÔÇŐÔÇöÔÇŐNey 5 graml─▒k dil modeli taraf─▒ndan, ├╝retilen metin dizilerinde karma┼č─▒kl─▒k (perplexity) de─čeri ile ├Âl├ž├╝lm├╝┼čt├╝r.

­čö╣ ─░├žerik koruma: ├ťretilen metin ile orjinal girdi aras─▒ndaki BLEU puan─▒ ├Âl├ž├╝lerek, n- gram istatistiklerini kullanarak orjinal girdinin mevcut i├žeri─čini ne ├Âl├ž├╝de korudu─ču ile ├Âl├ž├╝lmektedir. ─░nsan referans─▒ sa─čland─▒─č─▒ durumda ise, sadece girdilerden hesaplanan BLEU skoru farkl─▒ hesaplanm─▒┼čt─▒r. Bu makalede ÔÇťBLEUÔÇŁ skor olarak adland─▒r─▒lan metrik, t├╝m olas─▒ ├Âznitelik de─čerlerine g├Âre ku┼čaklar aras─▒ ortalama insan referanslar─▒n─▒n ortalamas─▒ al─▒narak hesaplanm─▒┼čt─▒r.


­čî╗ SONU├çLAR

├çal─▒┼čma kapsam─▒nda ├Ânerilen farkl─▒ yakla┼č─▒mlar─▒n, di─čer ├žal─▒┼čmalarla k─▒yas─▒n─▒n yap─▒ld─▒─č─▒ tablolar─▒ orjinal makaleden inceleyebilirsiniz. Ben i┼čin en heyecanl─▒ k─▒sm─▒n─▒ burada kaleme al─▒yor olaca─č─▒m­čĄę

├çal─▒┼čman─▒n ├ž─▒kt─▒lar─▒ ger├žekten ┼ča┼čk─▒nl─▒k verici d├╝zeyde! Buyrun inceleyelim ­čĄŚ

­čôî├ľncelikle tek bir ├Âzniteli─če g├Âre orjinal metinlerin yeniden olu┼čturulmas─▒ ├Ârneklerine bakal─▒m ­čą│

­čôî Peki ya biraz i┼čleri kar─▒┼čt─▒rsak ve birden fazla ├Âzniteli─če g├Âre stil transferi yapmas─▒n─▒ istesek?

­čôîDaha bitmedi! Sosyal medya i├žerikleri i├žin de elbette sonu├žlar─▒ g├Ârmek istiyoruz ­čĄę


­čŹü ├çal─▒┼čmada kullan─▒lan veri k├╝melerini olu┼čturmak i├žin ara┼čt─▒rmac─▒lar taraf─▒ndan payla┼č─▒lan PyTorch uygulamas─▒na buradan ula┼čabilirsiniz. Modelleri e─čitmek ve ├žal─▒┼čt─▒rmak i├žin ise yine ayn─▒ repodan payla┼č─▒m yap─▒laca─č─▒ duyuruldu, takipte kal─▒n─▒z Ôťî­čĆ╗

­čŹü Konu ilginizi ├žektiyse metinlerde stil transferi konulu makalelerin derlendi─či bu repoya g├Âz atabilirsiniz ­čĄô


Keyifli okumalar ÔśĽ

Tarih:Makale Okumalar─▒

─░lk Yorumu Siz Yap─▒n

Bir cevap yaz─▒n

E-posta hesab─▒n─▒z yay─▒mlanmayacak. Gerekli alanlar * ile i┼čaretlenmi┼člerdir