Corpus e dipuo ke eng?

Feela lilemo tse mashome a 'maloa tse fetileng ho automate ke lipatlisiso puo, bo-rasaense ba ka feela lora oa. mosebetsi ho ne ho etsoa ka letsoho, e hohela palo e khōlō ea baithuti ba, ho na le ke mohlomong monyetla "sa tsotelleng" liphoso, 'me botlhokwa go feta - tsohle ena o ile a nka nako e telele, nako e telele.

Le tsoelo-pele ea lik'homphieutha o fetohile ho bonolo ho tsamaisa lipatlisiso ka taelo ea boholo ka potlako, 'me kajeno e mong oa litaelo ho fetisisa tsepisa ho ithuta puo ke polokelo e dipuo. Tšobotsi lona ka sehloohong ke ho sebelisoa ha e ngata ea u fumane boitsebiso bo mongolo, lesedi ka polokelongtshedimosetso e le 'ngoe, ka tsela e khethehileng' me a bitsa 'mele e khōlō.

Ho fihlela joale, ho na le mehaho e ngata a bōpa le merero e fapaneng ka lebaka la puo lintho tse bonahalang tse sa tšoaneng nkileng ho tloha batho ba limilione hore ba mashome a limilione tse likete diyuniti lexical. tataiso ena e nkoa e le e hlamatsehang le e bontša tsoelo-pele ea bohlokoa ikutloeleng merero kopo le ho etsa lipatlisiso. Litsebi, tsela e 'ngoe kapa ha ho sebetsanoa le leng le puo ea tlhaho, e kgothaletswa ho tloaela' mele oa litemana tsa bonyane boemong ea motheo.

History of polokelo e dipuo

Sebopeho sa mokhoa ona ka lebaka la pōpo ea United States ka Brown 'mele mathoasong a 60-ogy ea tse lekholo tse fetileng. Pokello e akarelletsa litemana tse ho tsohle tse limilione tse 1 mefuta lentsoe, 'me kajeno sehlopha sa boholo ena e ne e tla ka ho feletseng tlhodisano. Sena ke haholo-holo ka lebaka la ho ea ka lebelo la tsoelo-pele ea lik'homphieutha, hammoho le se hlokoang ke ho hōla ya mehlodi ya motjha lipatlisiso.

Ka 90s ea e dipuo polokelo hlaha ka taeo e tletseng 'me e ikemetseng, e le pokello ea litemana tse di huleloa' me a tšoaea bakeng sa lipuo tse ngata. Ka nako ena ho ne ho bōptjoa, ho etsa mohlala, ea British National Corpus 100 milione tokens.

Le tsoelo-pele ea sebakeng sena ba e dipuo, meqolo ea mongolo ba ho ba le ho feta (le fihle libilione szótár diyuniti), le moralo se tšoanelang ho feta tse sa tšoaneng. Ho fihlela joale, e le sebaka Internet e ka fumanoa litopo tse ngotsweng le buile puo, lipuo tse ngata, 'me ho ithuta-sekametseng lingoliloeng bonono kapa sekolong, hammoho le mefuta e meng e mengata.

ke eng matlo

Mefuta mele e dipuo 'mele ka ba teng ka mabaka a' maloa. Intuitively, motheo oa tlhophiso e ka ba puo ea mongolo (Russia, Jeremane), le ho fihlella mokgwa wa (bulehileng mohloding, koaloa, khoebo), ho mofutakwalo sa boitsebiso (iqapetsoeng, videong, sekolong, bojenale).

Thahasellisang tsela chelete thepa ea puo e buuoang. Ho tloha ho rekota ka boomo ba ho bua joalo ho bopa ya tikoloho maiketsetso bakeng sa ba arabetseng, 'me lintho tse bonahalang sephetho le ne a ke ke a tla bitsoa "itlelang feela", morao-rao e dipuo polokelo o tsoile ka tsela e nngwe. Moithaopi ea sebetsang le e hlomelloa le sebuela-hōle, 'me ka nako ya letsatsi le hlahisitse tlaleho ea meqoqo tsohle, eo ho eona e kopanelang papaling ea ho. Batho ba ba potolohileng, ya e le hantle, a ke ke a tseba hore ka ba ntse ba buisana letsatsi le letsatsi tlatsetsa tsoelo-pele ea saense.

Hamorao o ile a fumana rekoto bolokoa polokelongtshedimosetso le ba tsamaea le hatisitsoeng mofuta wa sengolwa tlaleho. Ka tsela eo, ho ba khoneha ya matshwao a hlokahalang bakeng sa ho bopa e molomo letsatsi puo matlo.

kopo

Moo ho khonehang ho sebelisoe puo ea, 'me mohlomong ho sebelisoa ha mehaho e litemana tse. Mekhoa ho sebelisa vela ka e dipuo e ka ba o reng:

• Bōpa e lenaneo beha senotlolo, ho pharaletseng sebediswa lipolotiking le khoebong ho boloka tlaleho ea likarabo ntle 'me tse fosahetseng tsa bakhethi le bareki, ka ho latellana.
• Mabapi oona tsamaisong lesedi ho hlalosang mantsoe le bafetoleli ho ntlafatsa tshebetso bona.
• A mefuta e fapaneng ya mesebetsi ho etsa lipatlisiso e tlatsetsang ho kutloisiso ea unit trust puo, histori ea ntshetsopeleng lona le bolela lintho esale pele ba liphetoho nakong e tlang e haufi.
• Ntshetsopeleng ya tsamaiso ya tlhahisoleseding hopola thehiloeng morphological, syntactic, labeled semantic le ditshebetso tse ding.
• Gogolo tsa tsamaiso ea fapaneng puo le ba bang.

Tshebediso ya meaho

tshwanang mohlodi segokanyimmediamentsi sa sebolokigolo le e tloaelehileng ea enjene batla, 'me susumelletsa mosebedisi ho kenya lentsoe kapa motsoako oa mantsoe a ho batla botlaaseng tlhahisoleseding. Ntle theha potso ee hantle ka sebelisa phetolelo ea ntlafatsoa, eo lumella ho fumana boitsebiso bo ngotsoeng ka mekgwatiriso hoo e batlang e leha e le efe ea lipuo.

fuputso botlaaseng e ka ba o reng:

• setho sa sehlopha se itseng sa likarolo tse ling tsa ho bua;
• makgetheng sebōpeho-puo;
• sebopeho-puo;
• stylistic le maikutlong colouring.

U ka boela ua kopana le ditlhokego tsa fuputso bakeng sa tatelano ea mantsoe, ho etsa mohlala, ho fumana liketsahalo kaofela leetsi le ka bojoale, motho oa pele ka bonngoeng, e leng fihla ka mor'a preposition "ka" le lereho tabeng ngoloa hoa puo. Tharollo ea joalo mosebetsi e bonolo nka mosebedisi metsotsoana e seng mekae 'me e hloka feela clicks toeba tse seng kae masimong a boletseng.

Tsela ea ho bōpa

Ho batla le ka ho phethahatsoa ka subcorpus tsohle 'me e mong ka ho toba mo khethileng, ho itšetlehile ka litlhoko tsa ka finyella pakane e itseng:

1. Mohato oa pele ke ho hlalosa eo litemana tsa theha motheo oa ho ho joalo. Bakeng sa merero e sebetsang, e sebelisoa hangata boqolotsi ba ditaba, lipale tsa litaba, online maikutlo. The patlisiso ka porojeke e tshebediso ya mefuta e fapaneng mefuta e sa mefuta sephutheloana, empa temana ea lokela ho a khetha ho latela ba bang ba lumellanang ka sona.
2. Pokello sephetho le litemana tlas'a pretreatment, ho na le khalemelo ea liphoso, haeba leha e le efe, e hlophisitsoeng ke tlhaloso bibliographic le eketsehileng-puo ea temana eo.
3. E felisoa tsohle lesedi bao e seng ngotsoeng: aa apoha ho Grafiken, litšoantšo, litafole.
4. Ke kabo ya tokens, e leng tloaelo puo, bakeng sa sebetsa ka ho eketsehileng.
5. Qetellong, ho etsoa morphological, syntactical le markings tse ling ile a fumana plurality likarolo.

Phello ea ditransekshene tsohle tse entsoeng ka mohaho syntactic le aba ho eona e plurality likarolo, e mong le e ba e khetholloa e le karolo ea puo, sebōpeho-puo, 'me ka maemong a mang, sa litšobotsi labeled semantic.

Mathata a ho bōpa meaho

Ke habohlokoa ho utloisisa hore ha hoa lekana ho beha hammoho sete ya mantswe kapa lipolelo tsa 'mele. Ka lehlakoreng le leng, e le pokello ea litemana tse e lokela ho ba e leka-lekaneng, e le hore ke, ba emela mefuta e fapaneng ya litemana tse ka boholo itseng. Ka tse ling - dikahare tsa kampetsoeng lokela ho aroloa ka ka tsela e khethehileng.

The bothata ba pele bo rarolohile ka tumellano e: ka mohlala, ho bokella le ho akarelletsa ho 60% litemana dingolwa, 20% ea mananeo, karolo e itseng e fane ka boemedi e ngotsweng ya puo e buuoang, molao, mesebetsi ea saense, joalo-joalo phethahetse risepe leka-lekaneng 'mele kajeno ha e yo ...

Potso ea bobeli, e amang ho moralo dikahare, ho rarolla thata. Ho na le mananeo a khethehileng le dikgatotharabololong sebediswa bakeng sa jarolla ka ho iketsa ho tšoaea litemana tsa, empa ha ba fana ka lebaka ea phethahetseng, a ka etsa hore disruptions le hloka pukwanana rework. Menyetla le mathata ha ba sebetsana le bothata bona ba hlalosa ka ho qaqileng ka pampiri V. P. Zaharova ea e dipuo polokelo.

Text ya matshwao e kenngwa tshebetsong maemong 'maloa, e leng se re thathamisa ka tlaase mona.

morphological reha

Sekolong, re hopola hore ka puo ea Serussia, ho na le likarolo tse sa tšoaneng tsa puo, le e mong le ba bona ba na le litšobotsi tse ba lona. Mohlala, leetsi na dihlopha tsa tšekamelo le nako eo ha ho na lereho. sebui letsoalloa sa qeaqee hana nouns le maetsi conjugate, empa ho tšoaea sehlopha sa limilione tse 100. tokens mosebetsi o boima pukwanana tla se sebetse. le tshebetso tsohle tse hlokahalang ka phethisa k'homphieutha, Leha ho le joalo, kaha sena se e lokela ho se ruta.

Morphological reha, k'homphieutha lokela "utloisisa" e mong le e lentsoe ka karolo e itseng ea ho bua le litsobotsi tse itseng sebōpeho-puo. Ho tloha Russia (le puo leha e le efe) sebetsang 'maloa ea melao ea kamehla, ho ka etsahala hore a hahe Tsamaiso jarolla ka ho iketsa ho and analysis morphological, investing ka koloing ya palo ya dikgatotharabololong. Leha ho le joalo, ho na le ntle le mabaka a ka molao, hammoho le lintho tse ngata tse thatafatsa. Ka lebaka leo, letlooa ya khomphuta ya hao ho hlahloba kajeno ke le hole le ho loketseng, 'me esita le 4% phoso e fana ka boleng ba mln 4. Mantsoe a ka' mele oa 100 limilione tse. Lihlopha, hlokang hore pukwanana rework.

Detailed buka hlalosa bothata Zaharova V. P. "Corpus e dipuo".

syntactic horror

Parsing kapa parsing - mokgwa e rerang ka kamano ea mantsoe a polelong. Sebelisa sete ya dikgatotharabololong ke khoneha ho bona hore taba e ngotsoeng ea sehlooho, predicate, katoloso, chenchana multiple ba ho bua. Fumana eo mantsoe a latellana joang ka sehloohong, 'me e - itšetlehileng ka eona, re ka tsela e atlehang ka ntšang boitsebiso bo tsoang mongolo le ho ruta mochine ho fana ka ha a arabela kōpo ea batla feela tlhahisoleseding thahasellisang rona.

Ke tsela eo, dienjini morao-rao ho batla ho sebelisa sena ho fana ka linomoro itseng sebakeng sa litemana tse telele ka lebaka la lipotso tshwanelanang kang "ba bakae lik'hilojule ka apole" kapa "ea hole ho tswa ho Moscow ho St. Petersburg." Leha ho le joalo, ho utloisisa esita le lintho tsa motheo tsa tshebetso tse hlalositsoeng ke hore ho hlokahala hore a bale "Selelekela ho Corpus e dipuo" kapa tse ling tse mantlha sao tutorial.

labeled semantic ya matshwao

The sebopeho-puo oa lentsoe - ke hore, ka mantsoe a bonolo, moelelo. wa katamelo ho pharaletseng ho tshwanetseng ho and analysis labeled semantic tsa tagged lentsoe Attribution, ho bonahatsa hae bao e leng sete ya dihlopha labeled semantic le subcategories. boitsebiso bo joalo ke ba bohlokoa bakeng sa go lekanyetsa dikgatotharabololong sekaseka sengolwa molumo, jarolla ka ho iketsa summarization le mekhoa e meng mesebetsi ea e dipuo polokelo.

Ho na le a 'maloa a "motso" ea sefate, e emetseng ho lentsoe bokopa le sebopeho-puo lohle haholo. E le ea lekala ea nodes sefate li thehoa, e nang le ho feta le ho itseng ho feta likarolo lexical. Ka mohlala, lentsoe "sebōpuoa" ka amanang le bopa dikgopolo tsa tse kang "batho" le "phoofolo". Lentswe la pele le tla tsoela pele ho ea Lekala ka ntle diporofesene fapaneng, mantsoe a kamano, bochaba, 'me ea bobeli - ka litlelase le mefuta ea liphoofolo.

Tshebediso ya tsamaiso ya tlhahisoleseding hopola

Libakeng tsa tšebeliso ea e dipuo polokelo koahela masimo a sa tšoaneng tsa mosebetsi. Housings sebelisoa bakeng sa ho lokisetsa le khalemelo ea hlalosang mantsoe, bopa tsamaiso ea gana phetolelo, annotating, a boele a fumane lintlha tse, qeto ea hore na molumo le tse ling tse e lokisa taba e ngotsoeng.

Ho phaella moo, matlotlo a joalo a sebelisoa ka mafolofolo ho ithuta lipuo tse lefatšeng le mekgwa ya ho sebetsa tsa puo ka kakaretso. Phihlelo meqolo kgolo ya tlhahisoleseding pele e lokiselitsoeng ntsetso-peleng ithuta ka potlako 'me akaretsang tsa mekhoa ea lipuo ntshetsopele,' me phetoho ea tsitsitseng sebopeho neologisms puo lebelo ananela diyuniti lexical le ba bang.

Kaha mosebetsi le palo e joalo e kholo ya data hloka itsamaise, kajeno ho na le sebelisana haufi pakeng tsa k'homphieutha 'me a polokelo e dipuo.

Russia National Corpus

Tabeng ena (khutsufalitsoe NKRYA) e akarelletsa a 'maloa a subcorpus, e le hore ho sebelisa mohlodi bakeng sa tšoaneng tsa mesebetsi.

thepa ka polokelongtshedimosetso li arotsoe NKRYA:

• lingoliloeng ka 90s mecha ea litaba 'me 2000s, bobeli tse ruuoang le tsoang linaheng tse ling;
• ngola puo;
• aktsentologicheski tšoauoa litemana tse (i.e., le matshwao oa khatello ea kelello);
• puo puo;
• lithothokiso;
• Thepa le markings syntactic le tse ling.

tsamaiso ea lesedi e boetse e akarelletsa Subcorpus le liphetolelo tse tšoanang le tsa mesebetsi ho tloha Russia ka Senyesemane, Sejeremane, French 'me ba bangata ka lipuo tse ling (le sekgoeng).

Hape ka polokelongtshedimosetso ho na le karolo e itseng ea litemana tsa histori, e emetseng puo ngotsoeng ka Serussia linakong tse sa tšoaneng tsa ntshetsopeleng lona. Ho na le boetse ho na le koetliso e khethehileng 'mele, e leng e ka ba molemo bakeng sa ho baahi ba tsoang linaheng tse ling ka ho ithuta puo ea Serussia.

Russia National Corpus kenyelletsa ditokiseletso milione 400 diyuniti lexical, 'me ka litsela tse ngata pele ho e le karolo e khōlō ea puo ea Europe' mele.

litebello

Ha e le hantle e emelang ho amohelwa ha mokhoa ona ke fumaneha ha tšepisa laboratori ea polokelo e dipuo liunivesithing Serussia, hammoho le linaheng tse ling. Le ho sebelisa ha le ho etsa lipatlisiso ka wa tlhahisoleseding le batla ena mehlodi ya akarelletsa ntshetsopele ya itseng libakeng tse tšimong ea theknoloji e phahameng, tsamaiso ea potso-araba, empa e tšohliloeng ka holimo.

ntshetsopeleng eketsehileng polokelo e dipuo e bolela esale pele ka maemo tsohle, ho tloha ho botekgeniki le ka ho ya ka ho kenya tshebetsong dikgatotharabololong motjha hore optimize le thulaganyo ya ho setjha le sebetsana tlhahisoleseding, matlafatsa lik'homphieutha, pheleu e eketsehileng, 'me ho moreki, hobane basebelisi ba ho feta le ho feta litsela tsa ho sebelisa mofuta ona wa mohlodi ka letsatsi bona bophelo le mosebetsi oa.

Qetellong

Ka bohareng ba tse lekholo tse fetileng ka ka 2017 ha bonahala eka e hōle e tlang, moo spaceships tsamaea ka bokahohle le liroboto etsa mosebetsi oohle bakeng sa batho. Ha e le hantle, saense e kotonda le "matheba tšoeu" le ho etsa boiteko ba tsielehile ho araba lipotso tsa moloko oa batho ka lilemo tse makholo a utloa. Lipotso sebetsa ya puo mona lula sebakeng se le hlomphehang, le le raka le dikhomphuitha e dipuo ho ka re thusa ho li araba.

Processing oa disete kgolo ya data ka lemoha dipaterone, pele e neng e thata ho ba pakela, noha ntshetsopele ya makgetheng puo e itseng ho Track sebopeho sa mantswe a ka nako hoo e ka bang sebele.

Boemong e sebetsang, le masakeng lefatše ka bonoa, ho etsa mohlala, e le sesebelisoa se ka khona ho hlahloba ho feto-fetoha setjhaba - Internet ke kamehla ntjhafatswa letsatsi motheo oa litemana tse fapa-fapaneng bōpiloe ke basebelisi ba sebele: ena maikutlo le recensioni, le lintho, le mefuta e meng e mengata ea puo.

Ho phaella moo, ho sebetsa ka 'mele ea thusa hore ho ntshetsopele ya hardware tšoanang, e le hore ho ameha ka lesedi hopola, re ba tloaelane le litšebeletso "Google" kapa "Yandex", mochini phetolelo, lidikishinari elektronike.

Re ka kholiseho ka bolela hore ea polokelo e dipuo etsa feela mehato pele, 'me ka nako e tlang e tla atleha.