Phenquestions
To ima posledice. Njegova posledica je, da v Googlu obstaja veliko uporabnih podatkov, zato je treba te zlate podatke strgati. Strgane podatke lahko uporabimo za kakovostno analizo podatkov in odkrivanje čudovitih vpogledov. Prav tako je lahko pomembno, če v enem poskusu pridobite odlične raziskovalne informacije.
Če govorimo o strganju, je to mogoče storiti z orodji tretjih oseb. To je mogoče storiti tudi s Pythonovo knjižnico, znano kot Scrapy. Strganje je ocenjeno kot eno najboljših orodij za strganje in se lahko uporablja za strganje skoraj vseh spletnih strani. Več o tem lahko najdete v knjižnici Scrapy.
Vendar ne glede na prednosti te čudovite knjižnice. Strganje podatkov v Googlu je lahko ena težka naloga. Google trpi zaradi kakršnih koli poskusov strganja po spletu, s čimer zagotavlja, da skripti za strganje niti ene ure ne pošljejo toliko zahtev za strganje v eni uri, preden je IP naslov prepovedan. Zaradi tega so skripte za strganje tretjih oseb in osebnega spleta neuporabne.
Google daje priložnost za strganje informacij. Kakršno koli strganje pa bi moralo potekati prek vmesnika za programiranje aplikacij (API).
Če samo še ne veste, kaj je vmesnik za programiranje aplikacij, vas ne bo treba skrbeti, saj bom podal kratko razlago. Po definiciji je API niz funkcij in postopkov, ki omogočajo ustvarjanje aplikacij, ki dostopajo do funkcij ali podatkov operacijskega sistema, aplikacije ali druge storitve. V bistvu vam API omogoča dostop do končnega rezultata procesov, ne da bi morali biti v te procese vključeni. Na primer s temperaturnim API-jem lahko dobite vrednosti Celzija / Fahrenheita v kraju, ne da bi morali tja iti s termometrom, da sami opravite meritve.
Če to vključimo v obseg strganja informacij iz Googla, nam API, ki bi ga uporabljali, omogoča dostop do potrebnih informacij, ne da bi morali pisati skript za strganje strani z rezultati iskanja v Googlu. Preko API-ja lahko preprosto dobimo dostop do končnega rezultata (potem ko Google na koncu opravi "strganje"), ne da bi vpisovali kodo za strganje spletnih strani.
Čeprav ima Google veliko API-jev za različne namene, bomo za namen tega članka uporabili API za iskanje po meri JSON. Več informacij o tem API-ju najdete tukaj.
Ta API nam omogoča brezplačno 100 iskalnih poizvedb na dan, na voljo pa so tudi cenovni načrti za poizvedbe po potrebi.
Ustvarjanje iskalnika po meri
Da bi lahko uporabljali API za iskanje po meri JSON, bi potrebovali ID iskalnika po meri. Vendar bi morali najprej ustvariti iskalnik po meri, kar lahko storimo tukaj.
Ko obiščete stran iskalnika po meri, kliknite gumb »Dodaj«, da ustvarite nov iskalnik.
V polje »spletna mesta za iskanje« preprosto vnesite »www.linuxhint.com «in v polje» Ime iskalnika «vnesite poljubno opisno ime po svoji izbiri (Google bi bil zaželen).
Zdaj kliknite »Ustvari«, da ustvarite iskalnik po meri, in na strani kliknite gumb »nadzorna plošča«, da potrdite uspeh ustvarjanja.
Videli boste razdelek »ID iskalnika« in ID pod njim, to je ID, ki bi ga potrebovali za API, in nanj se bomo sklicevali kasneje v tej vadnici. ID iskalnika naj bo zaseben.
Pred odhodom ne pozabite, da smo vnesli »www.linuhint.com «prej. S to nastavitvijo bi rezultate dobili samo s spletnega mesta. Če želite dobiti običajne rezultate celotnega spletnega iskanja, v meniju na levi kliknite »Nastavitev« in nato jeziček »Osnove«. Odprite razdelek »Iskanje po celotnem spletu« in vklopite to funkcijo.
Ustvarjanje ključa API
Potem ko ustvarite iskalnik po meri in pridobite njegov ID, bi bilo treba ustvariti ključ API. Ključ API omogoča dostop do storitve API in ga je treba po ustvarjanju varovati tako kot ID iskalnika.
Če želite ustvariti ključ API, obiščite spletno mesto in kliknite gumb »Pridobi ključ«.
Ustvarite nov projekt in mu dajte opisno ime. Ko kliknete "Naprej", bi ustvarili ključ API.
Na naslednji strani bi imeli različne možnosti namestitve, ki za to vadnico niso potrebne, zato samo kliknite gumb »shrani« in že smo pripravljeni.
Dostop do API-ja
Uspešno smo dobili ID iskanja po meri in ključ API. Nato bomo uporabili API.
Medtem ko lahko do API-ja dostopate z drugimi programskimi jeziki, bomo to storili s Pythonom.
Če želite dostopati do API-ja s Pythonom, morate namestiti odjemalca Google API za Python. Tega lahko namestite s pomočjo pip install paketa s spodnjim ukazom:
pip namestite google-api-python-clientPo uspešni namestitvi lahko zdaj knjižnico uvozite v našo kodo.
Večina tega, kar bo storjeno, bi bila izvedena s spodnjo funkcijo:
iz googleapiclient.odkritje uvoz graditimy_api_key = "Vaš ključ API"
my_cse_id = "Vaš ID iskalnika poizvedb"
def google_search (iskanje_term, api_key, cse_id, ** kwargs):
service = build ("customsearch", "v1", developerKey = api_key)
res = storitev.cse ().seznam (q = termin iskanja, cx = cse_id, ** kwargs).izvrši ()
vrni res
V zgornji funkciji je my_api_key in my_cse_id spremenljivke naj bodo kot vrednosti niza nadomeščene s ključem API in ID iskalnika.
Vse, kar je treba zdaj storiti, je, da pokličete funkcijo, ki posreduje iskalni izraz, tipko api in cse id.
result = google_search ("Coffee", my_api_key, my_cse_id)natisni (rezultat)
Zgornji klic funkcije bi poiskal ključno besedo "Coffee" in vrnjeni vrednosti dodelil rezultat spremenljivka, ki se nato natisne. API za iskanje po meri vrne objekt JSON, zato bi bilo za nadaljnje razčlenjevanje nastalega predmeta potrebno malo znanja o JSON.
To je razvidno iz vzorca rezultata, kot je prikazano spodaj:
Vrnjeni objekt JSON je zelo podoben rezultatu iskanja v Googlu:
Povzetek
Če Google povlečete po informacijah, v resnici ni vredno stresa. API za iskanje po meri olajša življenje vsem, saj je edina težava pri razčlenjevanju predmeta JSON za potrebne informacije. Kot opomnik ne pozabite, da morate ID in iskalni mehanizem za iskanje po meri in vrednosti ključa API ohraniti zasebne.
