ML-DSP-genomisekvenssiluokittelutyökalun prototyypin suunnittelun ja toteutuksen jälkeen selvitimme, minkälainen pituuden normalisointi ja etäisyys soveltuvat sopivimmin genomiluokitteluun tällä menetelmällä. Tämän jälkeen suoritimme kattavan analyysin kirjallisuudessa käytetyistä erilaisista DNA-sekvenssien numeerisista esityksistä ja määrittelimme kolme parasta suorittajaa. Asetettuamme pääparametrit (pituusnormalisointimenetelmä, etäisyys ja numeerinen esitys) testasimme ML-DSP:n kykyä luokitella mtDNA-genomeja taksonomisilla tasoilla, jotka vaihtelivat domeenitasolta sukutasolle, ja saimme luokittelutarkkuudeksi keskimäärin >97 %. Lopuksi vertasimme ML-DSP:tä muihin kohdistukseen perustuviin ja kohdistuksesta vapaisiin genomien luokittelumenetelmiin ja osoitimme, että ML-DSP saavutti suuremman tarkkuuden ja huomattavasti suuremman nopeuden.
- Edistanssien ja pituuden normalisointimenetelmien analyysi
- Analyysi DNA-sekvenssien erilaisista numeerisista esityksistä
- ML-DSP kolmelle selkärankaisten luokalle
- Genomien luokittelu ML-DSP:llä kaikilla taksonomisilla tasoilla
- MoDMap-visualisointi vs. ML-DSP:n kvantitatiivisen luokittelun tulokset
- Soveltamismahdollisuudet muihin genomitietoaineistoihin
- ML-DSP:n vertailu uusimpiin linjaukseen perustuviin ja linjauksesta vapaisiin työkaluihin
- Keskustelu
Edistanssien ja pituuden normalisointimenetelmien analyysi
Päättääksemme, mikä etäisyysmitta ja mikä pituuden normalisointimenetelmä soveltuvat parhaiten genomien vertailuun ML-DSP:llä, käytimme yhdeksää erilaista osajoukkoa täydellisestä aineistostamme löytyvistä mtDNA-jaksoista. Nämä osajoukot valittiin siten, että ne sisälsivät suurimman osan saatavilla olevista täydellisistä mtDNA-genomeista (4322 mtDNA-sekvenssiä sisältävä selkärankaisten tietokokonaisuus) sekä osajoukkoja, jotka sisälsivät samankaltaisia sekvenssejä, jotka olivat samanpituisia (148 mtDNA-sekvenssiä sisältävä kädellisten tietokokonaisuus), ja osajoukkoja, jotka sisälsivät mtDNA-genomeja, joissa oli huomattavia eroja pituuksissa (174:ää mtDNA-spektrin sekvenssiä sisältävä kasvitiedosto).
Taulukossa 2 on lueteltu luokittelutarkkuuspisteet, jotka saatiin käyttämällä kahta tarkasteltua etäisyysmittaa (euklidinen ja Pearsonin korrelaatiokerroin) ja kahta eri pituuden normalisointitapaa (normalisointi maksimipituuteen ja normalisointi mediaanipituuteen) useissa tietokokonaisuuksissa. Luokittelutarkkuuspisteet ovat hieman korkeammat PCC:llä, mutta riittävän lähellä Euklidista etäisyyttä käytettäessä saatuja tuloksia, jotta ne eivät ole vakuuttavia.
Tässä artikkelissa valitsimme Pearsonin korrelaatiokertoimen, koska se on mittakaavariippumaton (toisin kuin euklidinen etäisyys, joka on esim, herkkä signaalin siirtymälle, jolloin samanmuotoisia mutta eri lähtöpisteissä olevia signaaleja pidetään erilaisina ), ja pituuden normalisoinnin mediaanipituuteen, koska se on taloudellinen muistinkäytön kannalta.
Analyysi DNA-sekvenssien erilaisista numeerisista esityksistä
Analysoimme DNA-sekvenssien kolmentoista erilaisen yksiulotteisen numeerisen esitystavan, jotka ryhmiteltiin seuraaviin ryhmiin: ML-DSP:n luokittelutarkkuus: Kiinteät kartoitukset DNA:n numeeriset esitykset (taulukon 1 esitykset #1, #2, #3, #6, #7, ks , ja esitykset #10, #11, #12, #13 – jotka ovat yksiulotteisia muunnelmia binäärisestä esityksestä, joka on ehdotettu vuonna ), kartoitukset, jotka perustuvat joihinkin nukleotidien fysikaalis-kemiallisiin ominaisuuksiin (taulukon 1 esitys #4, ks , ja esitys #5, ks ), ja lähimpiin naapuriarvoihin perustuvat kartoitukset (taulukon 2 esitykset #8, #9, ks ).
Tässä analyysissä käytettiin samoja tietokokonaisuuksia kuin taulukossa 2. Tässä analyysissä käytetyt valvotun koneoppimisen luokittelijat olivat Menetelmät ja toteutus -osiossa luetellut kuusi luokittelijaa lukuun ottamatta yli 2000 sekvenssiä sisältäviä tietokokonaisuuksia, joissa kaksi luokittelijaa (Subspace Discriminant ja Subspace KNN) jätettiin pois liian hitaina. Kaikkien näiden numeeristen esitysten, luokittelijoiden ja tietokokonaisuuksien tulokset ja keskimääräiset tarkkuuspisteet on koottu taulukkoon 3.
Kuten taulukosta 3 voidaan havaita, kaikkien numeeristen esitysten osalta taulukon keskimääräiset tarkkuuspisteet (viimeinen rivi: keskiarvojen keskiarvo ensin kunkin tietokokonaisuuden kuuden luokittelijan osalta ja sitten kaikkien tietokokonaisuuksien osalta) ovat korkeat. Yllättäen jopa yhden nukleotidin numeerisen esityksen käyttäminen, jossa kolme nukleotidia käsitellään samoina ja vain yksi niistä erotetaan (”Just-A”), johtaa 91,9 prosentin keskimääräiseen tarkkuuteen. Paras tarkkuus saavutetaan näissä aineistoissa, kun käytetään ”PP”-esitystä, jonka keskimääräinen tarkkuus on 92,3 %.
Seuraaviin kokeiluihin valittiin kolme parasta esitystä tarkkuuspisteiden perusteella: ”
ML-DSP kolmelle selkärankaisten luokalle
ML-DSP:n sovelluksena, jossa käytetään ”PP”-numeerista esitystä DNA-sekvensseille, analysoimme selkärankaisten mtDNA-genomien joukkoa (mediaanipituus 16 606 bp). MoDMap eli moniulotteinen skaalautuva 3D-visualisointi genomien keskinäisistä suhteista, joita etäisyysmatriisin etäisyydet kuvaavat, on esitetty kuvassa 3. Aineisto sisältää 3740 täydellistä mtDNA-genomia: 553 lintujen genomia, 2313 kalojen genomia ja 874 nisäkkäiden genomia. Kvantitatiivisesti kvadraattisella SVM-luokittelijalla saatu luokittelutarkkuuspistemäärä oli 100 %.
Kartta 3740 täydellisen mtDNA:n genomin luokittelusta 3740 täydellisen mtDNA:n genomista alaryhmässä Vertebrata kolmeen luokkaan: Linnut (sininen, Aves: 553 genomia), kalat (punainen, Actinopterygii 2176 genomia, Chondrichthyes 130 genomia, Coelacanthiformes 2 genomia, Dipnoi 5 genomia) ja nisäkkäät (vihreä, Mammalia: 874 genomia). ML-DSP:n luokittelun tarkkuus kolmeen luokkaan käyttäen kvadraattista SVM-luokittelijaa, jossa käytettiin ”PP”-numeerista esitystä ja DFT:n magnitudispektrien välistä PCC:tä, oli 100 %
Genomien luokittelu ML-DSP:llä kaikilla taksonomisilla tasoilla
Testasimme ML-DSP:n kykyä luokitella täydellisiä mtDNA- sekvenssejä erilaisilla taksonomisilla tasoilla. Testasimme jokaisen tietokokonaisuuden osalta käyttäen ”PP”-, ”Just-A”- ja ”Real”-numeerisia esitystapoja.
Aloituskohteena oli domain Eukaryota (7396 sekvenssiä), joka luokiteltiin valtakuntiin, sitten valtakunta Animalia luokiteltiin fylleihin jne. Kullakin tasolla valittiin klusteri, jossa oli eniten sekvenssejä, ja sitten se luokiteltiin seuraavan taksonomisen tason alaklustereihin. Alimmalla tasolla luokiteltiin Cyprinidae-suku (81 sekvenssiä) sen kuuteen sukuun. Kunkin tietokokonaisuuden osalta testasimme kaikkia kuutta luokittelijaa, ja taulukossa 4 esitetään näiden kuuden luokittelutarkkuuden enimmäispisteet kunkin tietokokonaisuuden osalta.
Huomaa, että kullakin taksonomisella tasolla maksimaaliset luokittelutarkkuuspisteet (kuuden luokittelijan joukosta) jokaisella kolmella tarkastellulla numeerisella esitystavalla ovat korkeita, vaihdellen 91:stä 91:een.4 %:sta 100 %:iin, ja vain kolme tulosta on alle 95 %. Koska tämäkään analyysi ei paljastanut selkeää voittajaa kolmen parhaan numeerisen esityksen joukosta, heräsi kysymys, onko käyttämällämme numeerisella esityksellä mitään merkitystä. Vastataksemme tähän kysymykseen teimme kaksi lisäkoetta, joissa hyödynnettiin sitä, että Pearsonin korrelaatiokerroin on mittakaavariippumaton ja etsii vain mallia vertaillessaan signaaleja. Ensimmäistä kokeilua varten valitsimme kolme parasta numeerista esitystä (”PP”, ”Just-A” ja ”Real”), ja tietyssä tietokokonaisuudessa kullekin sekvenssille valittiin satunnaisesti ja yhtä suurella todennäköisyydellä numeerinen esitys näiden kolmen joukosta sitä edustavaksi digitaaliseksi signaaliksi. Tulokset näkyvät taulukon 4 sarakkeessa ”Random3”: kaikkien tietokokonaisuuksien suurin tarkkuus on 96 %. Tämä on lähes sama kuin tarkkuus, joka saatiin, kun käytettiin yhtä tiettyä numeerista esitystä (1 % vähemmän, mikä on hyvin kokeellisen virheen rajoissa). Toistimme tämän kokeen valitsemalla tällä kertaa satunnaisesti minkä tahansa kolmestatoista tarkastellusta numeerisesta esityksestä. Tulokset on esitetty taulukon 4 sarakkeessa ”Random13”, ja taulukon keskimääräinen tarkkuus oli 88,1 %.
Kaiken kaikkiaan tuloksemme viittaavat siihen, että kaikilla kolmella numeerisella representaatiolla ”PP”, ”Just-A” ja ”Real” on erittäin korkeat luokittelutarkkuusarvot (keskimäärin >97 %), eikä edes satunnainen valinta yhdestä näistä representaatioista kullekin sekvenssille tietokokonaisuudessa vaikuta merkittävästi ML-DSP:n luokittelutarkkuusarvoihin (keskimäärin 96 %).
Huomautamme myös, että ML-DSP:llä on erittäin tarkkojen luokittelujensa lisäksi ultranopea. Itse asiassa jopa taulukon 2 suurimman aineiston, subphylum Vertebrata (4322 täydellistä mtDNA-genomia, keskipituus 16 806 bp), etäisyysmatriisilaskenta (joka on suurin osa luokituslaskennasta) kesti alle 5 s. Uuden kädellisten mtDNA-genomin luokittelu kesti 0,06 sekuntia, kun se koulutettiin 148 kädellisten mtDNA-genomilla, ja uuden selkärankaisten mtDNA-genomin luokittelu kesti 7 sekuntia, kun se koulutettiin 4322 selkärankaisten mtDNA-genomilla. Tulosta päivitettiin kokeella, jossa QSVM koulutettiin taulukossa 2 oleville 4322 täydelliselle selkärankaisten genomille ja kysyttiin 694 uutta selkärankaisten mtDNA-genomia, jotka oli ladattu NCBI:hen 17. kesäkuuta 2017 ja 7. tammikuuta 2019 välisenä aikana. Luokittelutarkkuus oli 99,6 %, ja vain kolme matelijoiden mtDNA-genomia luokiteltiin virheellisesti sammakkoeläinten genomeiksi: Bavayia robusta, robust forest bavayia – geckolaji, NC_034780, Mesoclemmys hogei, Hoge’s toadhead kilpikonna, NC_036346, ja Gonatodes albogularis, yellow-headed gecko, NC_035153.
MoDMap-visualisointi vs. ML-DSP:n kvantitatiivisen luokittelun tulokset
Seuraavissa kokeissa testattiin hypoteesia, jonka mukaan DNA-sekvenssien luokittelun kvantitatiivinen tarkkuus ML-DSP:llä olisi huomattavasti korkeampi kuin taksonien visuaalinen ryhmittely MoDMapissa, joka tuotettiin samalla pareittaisella etäisyysmatriisilla.
Esimerkkinä kuvassa 4a oleva MoDMap visualisoi mtDNA-genomien etäisyysmatriisin Cyprinidae-heimon (81 genomia) mtDNA-genomeista ja sen suvuista Acheilognathus (10 genomia), Rhodeus (11 genomia), Schizothorax (19 genomia), Labeo (19 genomia), Acrossocheilus (12 genomia) ja Onychostoma (10 genomia); vain suvut, joilla on vähintään 10 genomia, on otettu huomioon. MoDMap näyttää osoittavan päällekkäisyyttä Acheilognathus- ja Rhodeus-klusterien välillä, mikä on biologisesti uskottavaa, koska nämä suvut kuuluvat samaan Acheilognathinae-alaperheeseen. Kun kuitenkin suurennetaan karttaa piirtämällä MoDMap-kartta vain näistä kahdesta suvusta, kuten kuvassa 4b on esitetty, voidaan nähdä, että klusterit ovat visuaalisesti selvästi erillään. Tätä erottelua vahvistaa se, että Quadratic SVM -luokittimen tarkkuus kuvan 4b aineistossa on 100 prosenttia. Sama kvantitatiivinen tarkkuusluku kuvan 4a tietokokonaisuuden luokittelussa Quadratic SVM:llä on 91,8 %, mikä on intuitiivisesti paljon parempi kuin vastaava MoDMap-kartta antaisi ymmärtää. Tämä johtuu todennäköisesti siitä, että MoDMap on kolmiulotteinen approksimaatio genomia edustavien pisteiden sijainneista moniulotteisessa avaruudessa (ulottuvuuksien lukumäärä on (n-1), jossa n on sekvenssien lukumäärä).
Kuvio4
Kuva 4
Kuva 4
Cyprinidien (Cyprinidae) suvun ja sukujen sijainnit. (a): Suvut Acheilognathus (sininen, 10 genomia), Rhodeus (punainen, 11 genomia), Schizothorax (vihreä, 19 genomia), Labeo (musta, 19 genomia), Acrossocheilus (magenta, 12 genomia), Onychostoma (keltainen, 10 genomia); (b): Suvut Acheilognathus ja Rhodeus, jotka olivat päällekkäisiä (a), ovat visuaalisesti erillään, kun ne piirretään erikseen (b). Luokittelutarkkuus Quadratic SVM:llä (a) olevan aineiston osalta oli 91,8 % ja (b) olevan aineiston osalta 100 %
Tästä huolimatta MoDMaps voi edelleen palvella tutkimustarkoituksiin. Esimerkiksi kuvan 4a MoDMap-kartta viittaa siihen, että Onychostoma-suvun (NCBI:ssä ”tuntemattomaksi” merkitty alaheimo) lajit (keltainen) saattavat olla geneettisesti sukua Acrossocheilus-suvun (Barbinae-alaheimo) lajeille (magenta). Kun etäisyysmatriisia tutkitaan tarkemmin, havaitaan, että näiden kahden klusterin keskipisteiden välinen etäisyys on todellakin pienempi kuin näiden kahden klusterin keskipisteen etäisyys muista klusterin keskipisteistä. Tämä tukee morfologisten todisteiden perusteella esitettyjä oletuksia siitä, että Onychostoma-suku kuuluu Barbinae-alasukuun ja että Onychostoma-suku ja Acrossocheilus-suku ovat läheistä sukua. On huomattava, että tätä MoDMapin ehdottamaa ja etäisyysmatriisiin perustuvilla laskelmilla vahvistettua tutkimusta ei olisi voitu aloittaa pelkän ML-DSP:n (tai muiden valvottujen koneoppimisalgoritmien) perusteella, sillä ML-DSP ennustaa vain uusien genomien luokittelun johonkin niistä taksoneista, joihin se on koulutettu, eikä anna mitään muuta lisätietoa.
Toisena vertailukohteena MoDMapien ja valvotun koneoppimisen tuotosten välillä kuvassa 5a on esitetty yläluokan Ostariophysi MoDMap ja sen järjestykset Cypriniformes (643 genomia), Characiformes (31 genomia) ja Siluriformes (107 genomia). MoDMapin mukaan klusterit ovat päällekkäisiä, mutta kvadrattisen SVM-luokittelijan, joka luokittelee nämä genomit kvantitatiivisesti, tarkkuus on 99 prosenttia. Kuvan 5b sekoitusmatriisi osoittaa, että Quadratic SVM luokittelee väärin vain 8 sekvenssiä 781:stä (muistutettakoon, että m klusterin osalta m×m sekoitusmatriisin riveillä on todelliset luokat ja sarakkeilla ennustetut luokat; solu (i,j) osoittaa niiden sekvenssien lukumäärän, jotka kuuluvat todelliseen luokkaan i ja joiden on ennustettu kuuluvan luokkaan j). Tämä osoittaa, että kun MoDMapin visuaalisessa esityksessä näkyy klusterien päällekkäisyyksiä, tämä voi johtua vain ulottuvuuden vähentämisestä kolmeen ulottuvuuteen, kun taas ML-DSP tarjoaa itse asiassa paljon paremman kvantitatiivisen luokituksen saman etäisyysmatriisin perusteella.
MoDMap yläluokasta Ostariophysi ja sekoitusmatriisi tämän yläluokan kvadraattista SVM-luokittelua varten järjestyksiin. (a): MoDMap järjestyksistä Cypriniformes (sininen, 643 genomia), Characiformes (punainen, 31 genomia), Siluriformes (vihreä, 107 genomia). (b): Quadratic SVM:n tuottama sekoitusmatriisi, joka havainnollistaa sen todellisen luokan vs. ennustetun luokan suorituskyvyn (ylhäältä alas ja vasemmalta oikealle: Cypriniformes, Characiformes, Siluriformes). Vasemmalta ylhäältä oikealle kulkevan diagonaalin (sininen) neliöissä olevat numerot osoittavat oikein luokiteltujen DNA-sekvenssien lukumäärän järjestyksessä. Vaaleanpunaiset neliöt diagonaalin ulkopuolella osoittavat, että 6 mtDNA-genomia Characiformes-luokasta on virheellisesti ennustettu kuuluvan Cypriniformes-luokkaan (keskellä vasemmalla) ja 2 mtDNA-genomia Siluriformes-luokasta on virheellisesti ennustettu kuuluvan Cypriniformes-luokkaan (alhaalla vasemmalla). Tämän sekoitusmatriisin tuottaneen Quadratic SVM:n luokittelutarkkuus oli 99 %
Soveltamismahdollisuudet muihin genomitietoaineistoihin
Tässä osiossa esitetyt kaksi koetta osoittavat, että menetelmämme soveltuvuus ei rajoitu mitokondriaalisiin DNA-sekvensseihin. Ensimmäisessä kokeessa, kuvassa 6a, esitetään MoDMap kaikista 4721 täydellisestä denguevirussekvenssistä, jotka olivat saatavilla NCBI:ssä 10. elokuuta 2017 ja jotka on luokiteltu alatyyppeihin DENV-1 (2008 genomia), DENV-2 (1349 genomia), DENV-3 (1010 genomia) ja DENV-4 (354 genomia). Näiden täydellisten virusgenomien keskimääräinen pituus on 10 595 bp. Vaikka denguevirusten genomit ovat hyvin samankaltaisia, tämän tietokokonaisuuden luokittelutarkkuus alatyyppeihin kvadraattisen SVM-luokittelijan avulla oli 100 prosenttia. Toisessa kokeessa, kuvassa 6b, esitetään 4710 bakteerigenomin MoDMap-kartta, joka on luokiteltu kolmeen heimoon: Spirochaetes (437 genomia), Firmicutes (1129 genomia) ja Proteobacteria (3144 genomia). Näiden täydellisten bakteerigenomien keskimääräinen pituus on 104 150 bp, suurin pituus on 499 136 bp ja pienin pituus 20 019 bp. Quadratic SVM -luokittelijan luokittelutarkkuus tälle aineistolle oli 95,5 %.
(a) 4271 dengueviruksen genomin MoDMap. Värit kuvaavat viruksen alatyyppejä DENV-1 (sininen, 2008 genomia), DENV-2 (punainen, 1349 genomia), DENV-3 (vihreä, 1010 genomia), DENV-4 (musta, 354 genomia); Kvadraattisen SVM-luokittelijan luokittelutarkkuus tässä aineistossa oli 100 %. (b) 4710 bakteerigenomin MoDMap-kartta. Värit kuvaavat bakteerien heimoja: Spirochaetes (sininen, 437 genomia), Firmicutes (punainen, 1129 genomia), Proteobacteria (vihreä, 3144 genomia). Quadratic SVM -luokittelijan tarkkuus tässä aineistossa oli 95,5 %
ML-DSP:n vertailu uusimpiin linjaukseen perustuviin ja linjauksesta vapaisiin työkaluihin
Tässä jaksossa esitetyissä laskennallisissa kokeissa ML-DSP:tä verrataan kolmeen uusimpaan linjaukseen perustuvaan ja linjauksesta vapaana olevaan menetelmään: linjaukseen perustuvaan työkaluun MEGA7, jossa on käytetty linjausta käyttäen apuna hyväksi seuraavia menetelmiä (esim. seuraavia menetelmiä): MEGA7, jossa on käytetty linjausta käyttäen apuna seuraavia menetelmiä (esim. seuraavia työkaluja): MUSCLEa, ja KLUSTAALWia , sekä linjauksesta vapaana olevaan menetelmään (mm. FFP, Feature Frequency Profiles) .
Tähän suorituskykyanalyysiin valitsimme kolme tietokokonaisuutta. Kaksi ensimmäistä tietokokonaisuutta ovat vertailutietokokonaisuuksia, joita on käytetty muissa geneettisten sekvenssien vertailututkimuksissa : Ensimmäinen tietokokonaisuus käsittää 38 influenssaviruksen genomia ja toinen tietokokonaisuus 41 nisäkkään täydellistä mtDNA-sekvenssiä. Kolmas valitsemamme tietokokonaisuus on paljon suurempi, se koostuu 4322 selkärankaisten täydellisestä mtDNA-sekvenssistä, ja se valittiin skaalautuvuuden vertailua varten.
Kohdistukseen perustuvissa menetelmissä käytimme MEGA7:ssä MEGA7:llä laskettua etäisyysmatriisia, joka on laskettu sekvensseistä, jotka on sovitettu yhteen joko MUSCLE:lla tai CLUSTALW:lla. Kohdistuksesta vapaassa FFP:ssä käytimme k-mereille oletusarvoa k=5 (k-meri on mikä tahansa DNA-sekvenssi, jonka pituus on k; parametrin k arvon kasvattaminen johti ensimmäisessä aineistossa alhaisempaan luokittelutarkkuuspistemäärään FFP:ssä). ML-DSP:n osalta valitsimme numeerisen kokonaislukumuotoisen esityksen ja laskimme keskimääräisen luokittelutarkkuuden kaikkien kuuden luokittelijan osalta kahdelle ensimmäiselle tietokokonaisuudelle ja kaikkien luokittelijoiden osalta lukuun ottamatta Subspace Discriminant ja Subspace KNN -luokittelijoita kolmannelle tietokokonaisuudelle.
Taulukosta 5 käy ilmi suorituskykyvertailu (luokittelutarkkuus ja prosessointiaika) näiden neljän menetelmän välillä. Käsittelyaika sisälsi kaikki laskutoimitukset alkaen tietokokonaisuuksien lukemisesta etäisyysmatriisin – kaikkien neljän menetelmän yhteisen elementin – valmistumiseen. Luetellut prosessointiajat eivät sisällä aikaa, joka tarvitaan fylogeneettisten puiden laskemiseen, MoDMap-visualisointiin tai luokitteluun.
Kuten taulukosta 5 (sarakkeet 3, 4 ja 6) nähdään (sarakkeissa 3, 4 ja 6), ML-DSP päihittää prosessointiaikojen osalta ylivoimaisesti linjaukseen perustuvan ohjelmiston MEGA7(MUSCLE/CLUSTALW). Tarkkuuden osalta ML-DSP:n ja MEGA7(MUSCLE/CLUSTALW)-ohjelman keskimääräiset tarkkuudet olivat vertailukelpoisia pienempien virus- ja nisäkäsvertailuaineistojen osalta, mikä johtui todennäköisesti ML-DSP:n harjoittelujoukon pienestä koosta. ML-DSP:n etu kohdistukseen perustuviin työkaluihin nähden tuli selvemmin esiin suuremmassa selkärankaisten tietokokonaisuudessa, jossa ML-DSP:n ja kohdistukseen perustuvien työkalujen tarkkuutta ei voitu edes verrata, koska kohdistukseen perustuvat työkalut olivat niin hitaita, että ne oli lopetettava. Sitä vastoin ML-DSP luokitteli koko 4322 selkärankaisten mtDNA-genomin joukon 28 sekunnissa, ja keskimääräinen luokittelutarkkuus oli 98,3 prosenttia. Tämä osoittaa, että ML-DSP on huomattavasti skaalautuvampi kuin alignment-pohjainen MEGA7(MUSCLE/CLUSTALW), sillä se pystyy luokittelemaan nopeasti ja tarkasti aineistoja, joita alignment-pohjaiset työkalut eivät edes pysty käsittelemään.
Kuten taulukosta 5 (sarakkeet 5 ja 6) nähdään (taulukon 5 sarakkeet 5 ja 6), ML-DSP päihittää alignment-vapaan ohjelmiston FFP:n huomattavasti tarkkuuden suhteen (keskimääräinen luokittelutarkkuus 98.3 % ML-DSP:llä vs. 48,3 % FFP:llä, suuressa selkärankaisten tietokokonaisuudessa) ja on samalla yleisesti ottaen nopeampi.
Tämä vertailu osoittaa myös, että näissä tietokokonaisuuksissa molemmilla kohdistusvapailla menetelmillä (ML-DSP ja FFP) on ylivoimainen etu kohdistukseen perustuviin menetelmiin (MEGA7 (MUSCLE/CLUSTALW)) nähden käsittelyajan suhteen. Kuvasta 7a käy ilmi, että FFP:n avulla on vaikea havaita aineiston erottamista alatyyppiklustereihin. Kuvassa 7b, MEGA7 (MUSCLE), ja kuvassa 7c MEGA7 (CLUSTALW) näkyy alatyyppejä H1N1 ja H2N2 edustavien pisteklusterien päällekkäisyys. Sen sijaan kuvassa 7d, joka visualisoi ML-DSP:n tuottaman etäisyysmatriisin, näkyy selkeä erottelu kaikkien alatyyppien välillä.
Taulukossa 5 esitetyn influenssavirustietokokonaisuuden neljään menetelmään perustuvien MODMaps. Pisteet edustavat alatyyppien H1N1 (punainen, 13 genomia), H2N2 (musta, 3 genomia), H5N1 (sininen, 11 genomia), H7N3 (magenta, 5 genomia), H7N9 (vihreä, 6 genomia) virusgenomeja; ModMaps on luotu käyttäen etäisyysmatriiseja, jotka on laskettu a) FFP:llä; b) MEGA7(MUSCLE); c) MEGA7(CLUSTALW); d) ML-DSP
Viimeiset kuvat. 8 ja 9 esitetään fylogeneettiset puut, jotka on tuotettu kullakin neljästä tarkastellusta menetelmästä. Kuvassa 8a, FFP:n tuottamassa puussa, on paljon väärin luokiteltuja genomeja, mikä oli odotettavissa, kun otetaan huomioon sen etäisyysmatriisin MoDMap-visualisointi kuvassa 7a. Kuvassa 9a esitetään MEGA7:n tuottama fylogeneettinen puu, joka oli sama sekä MUSCLE- että CLUSTALW-menetelmillä: siinä on vain yksi virheellisesti luokiteltu H5N1-genomi, joka on sijoitettu H1N1-genomien keskelle. Kuvissa 8b ja 9b esitetään fylogeneettinen puu, joka on luotu ML-DSP:n tuottaman etäisyyden avulla (esitetty kahdesti rinnakkain muiden puiden kanssa vertailun helpottamiseksi). ML-DSP luokitteli kaikki genomit oikein.
Fylogeneettisen puun vertailu: FFP ja ML-DSP. 38 influenssaviruksen genomille luotu fylogeneettinen puu käyttäen (a): FFP (b): ML-DSP
Fylogeneettinen puun vertailu: MEGA7(MUSCLE/CLUSTALW) ja ML-DSP. 38 influenssaviruksen genomille luotu fylogeneettinen puu käyttäen (a): MEGA7(MUSCLE/CLUSTALW) (b): ML-DSP
Keskustelu
ML-DSP:n laskennallinen tehokkuus johtuu siitä, että se on alignment-vapaa (se ei siis tarvitse moninkertaista sekvenssikohdistusta), kun taas 1D-numeerisen numeerisen esitystavan, diskreetin Fourier-muunnoksen (Discrete Fourier Transform) ja Pearsonin korrelaatiokertoimen (Pearson Correlation Coefficient) yhdistelmä tekee siitä laskenta-ajankäytöltään äärimmäisen tehokkaan ja siten skaalautuvan.
ML-DSP:llä on omat rajoituksensa. Ennakoimme, että samanpituisten sekvenssien tarve ja pituuden normalisoinnin käyttö voivat aiheuttaa ongelmia tarkasteltaessa suurempien genomisekvenssien pieniä fragmentteja. Yleensä genomit vaihtelevat pituudeltaan, joten pituuden normalisointi johtaa aina siihen, että jonkin verran informaatiota lisätään (näytteenotto ylöspäin) tai menetetään (näytteenotto alaspäin). Vaikka Pearsonin korrelaatiokerroin pystyy erottamaan signaalikuviot jopa pienissä sekvenssifragmenteissa, emmekä havainneet mitään merkittävää haittaa tarkastellessamme täydellisiä mitokondriaalisia DNA-genomeja ja niiden väistämättömiä pituusvaihteluita, pituuden normalisointi voi aiheuttaa ongelmia käsitellessämme genomien fragmentteja ja paljon suurempia ydingenomisekvenssejä.
Viimeiseksi, ML-DSP:llä on kaksi haittapuolia, jotka ovat luonteenomaisia mille tahansa kontrolloidulle koneenoppimisalgoritmille. Ensimmäinen on se, että ML-DSP on musta laatikko -menetelmä, joka tuottaa erittäin tarkan luokitteluennusteen, mutta ei tarjoa (biologista) selitystä tulokselleen. Toinen on se, että se on riippuvainen harjoitusjoukosta, josta se ammentaa ”tietonsa”, eli joukosta, joka koostuu tunnetuista genomisekvensseistä ja niiden taksonomisista merkinnöistä. ML-DSP käyttää tällaista harjoitusjoukkoa ”oppiakseen” luokittelemaan uudet sekvenssit johonkin niistä taksonomisista luokista, joihin se on koulutettu, mutta se ei pysty luokittelemaan sitä taksoniin, jolle se ei ole altistunut.