Lastni razvoj in izvedbe
Raziskovalno orodje za spletne podatke
Razvijamo lastno orodje, v katerem uporabnik opiše cilj, izbere spletne strani in omeji obseg zbiranja. Rezultati ostanejo povezani z viri in projektom.
Stanje projekta
Lastni produkt v razvoju. Preverjen je začetni lokalni tok zbiranja; napredne raziskovalne funkcije še nastajajo.
Od ročnega odpiranja strani do urejenih podatkov
Pri raziskovanju trga ali dokumentacije ni dovolj shraniti odgovora. Potrebujemo tudi stran, iz katere je podatek prišel, in pregled nad tem, kaj je bilo dejansko zbrano. Naš razvojni cilj je takšne korake povezati v ponovljiv delovni tok.
Kako uporabnik začne
Vpiše cilj raziskave in naslove strani, izbere podatke ter omeji število strani, čas in predvideni strošek. Pred zagonom vidi načrt in potrdi dovoljen obseg. Običajna uporaba ne zahteva pisanja tehnične konfiguracije. Opis cilja sam po sebi še ne ustvari poljubne nove funkcije zbiranja.
Kaj je zgrajeno
Začetna izvedba zbira naslove, opise in besedilo strani ter navedene datume, kadar so na voljo. Podatke in datoteke razvrsti po projektih, omogoča iskanje po besedilu in prikazuje napredek. Spletni vmesnik, podatkovna zbirka in ločeni delavci tvorijo eno aplikacijo.
Kako je rešitev sestavljena
Zaledje uporablja FastAPI, podatki so v SQLite z iskanjem po besedilu FTS5, datoteke pa v ločenih projektnih mapah. Python delavci opravijo zbiranje zunaj neposredne zahteve uporabniškega vmesnika. S tem ločimo začetek opravila, njegovo stanje in shranjene rezultate.
Kaj preizkus že potrjuje
Preverjen je majhen pravi HTTP preizkus zbiranja ter avtomatizirani pregledi začetnega toka in vmesnika. To ne dokazuje natančnosti na vseh spletnih straneh ali delovanja pri velikem obsegu. Napredno brskalniško zbiranje, OCR, ponudniki iskanja in semantična raziskava še niso zaključene funkcije; AI adapter ni potrjeno preverjen v živo.
Primer možne uporabe
Ekipa bi lahko določila seznam javnih strani in iz njih pripravljala pregled sprememb z izvornimi povezavami. To je ponazoritev uporabe. Pred uvedbo določimo dovoljene vire, pogostost, pravila dostopa in način preverjanja; podatkov ne predstavljamo kot popolnih, če del zbiranja ni uspel.
Vprašanja o projektu
Obseg in uporaba
Ali orodje že samo opravi katerokoli spletno raziskavo?
Ne. Deluje začetni omejeni tok zbiranja. Napredne povezave in AI raziskovalne funkcije imajo še odprte razvojne korake.
Ali lahko vidim izvor zbranih informacij?
Sledljivost vira in ločevanje rezultatov po projektih sta del zasnove. Zbran podatek je treba ločiti od poznejše razlage ali povzetka.
Ali je to produkt za naročnika?
Gre za lastni razvojni produkt AIS Slovenia. Predstavitev ne navaja zunanje stranke ali merjenega poslovnega prihranka.
Pogovorimo se o vaši rešitvi po meri
Predstavite cilje svojega podjetja in sedanji način dela. Skupaj preverimo, s katerim procesom začeti.