Apache Kafka

Kako nastaviti particioniranje v Apache Kafka

Kako nastaviti particioniranje v Apache Kafka
Apache Kafka je zmogljiva storitev posrednika sporočil. Je zelo hiter in zanesljiv. Apache Kafka je odprtokodna in brezplačna za uporabo. Zapisano je v Javi.V tem članku vam bom pokazal, kako nastaviti particije v Apache Kafka. Začnimo.

Osnove predelnih sten Apache Kafka:

Da bi razumeli osnove Apacheja Kafke Pregradas, morate vedeti o Kafki Tema najprej.

A Tema je kot baza podatkov v bazi podatkov SQL, kot je MariaDB za Apache Kafka. A Tema ima ime ali identifikator, ki ga uporabljate za združevanje sporočil v Apache Kafka.

A Pregrada je kot kanal za vsakega Tema. A Tema lahko imajo veliko Pregradakanalov.

Omrežni kabel, ki povezuje dva računalnika, ima dva konca, eden pošilja podatke, drugi pa prejema podatke. Tako kot Apache Kafka Topic ima dva konca, Producents in Potrošniks. A Producent ustvari sporočila in jih pošlje v eno od Pregradas a Tema. A Potrošnik na drugi strani bere sporočila iz Pregradas a Tema.

Večkraten Pregradas ali kanali so ustvarjeni za povečanje odvečnosti. Uporablja se tudi za razvrščanje sporočil v določeno skupino Tema.

To so osnove Apacheja Kafke Pregradas. Več o particijah Apache Kafka lahko izveste v drugem namenskem članku Razdelitev Apache Kafka na https: // linuxhint.com / apache-kafka-particioniranje

Namestitev Apache Kafka:

Imam namenski podroben članek o tem, kako Namestite Apache Kafka na Ubuntu, ki jih lahko preberete na https: // linuxhint.com / install-apache-kafka-ubuntu /

Z malce popravkov lahko Apache Kafka namestite tudi v druge distribucije Linuxa.

Zagon strežnika Apache Kafka:

Če ste sledili mojemu članku za namestitev Apache Kafka, najprej zaženite strežnik Apache Kafka z naslednjim ukazom:

$ sudo kafka-server-start.sh / etc / kafka.lastnosti

Strežnik Apache Kafka bi se moral zagnati. Ta terminal naj bo odprt, dokler želite, da strežnik Apache Kafka deluje.

Ustvarjanje teme Apache Kafka:

Ustvarite lahko Apache Kafka Tema testiranje z naslednjim ukazom:

$ sudo kafka-teme.sh \
--ustvari \
--skrbnik živalskega vrta localhost: 2181 \
--faktor replikacije 1 \
--particije 1 \
--testiranje tem

The Tema testiranje je treba ustvariti. To Tema ima 1 particijo.

Če želite ustvarjati, recimo N particije, nato nastavite -predelne stene do N.

Ustvarimo drugega Tema, recimo uporabnikov, s 3 Pregradas, nato zaženite naslednji ukaz:

$ sudo kafka-teme.sh \
--ustvari \
--skrbnik živalskega vrta localhost: 2181 \
--faktor replikacije 1 \
--particije 3 \
--uporabniki teme

Uporabniki tem je treba ustvariti s 3 Pregradas.

Dodajanje razdeljenih sporočil v temo:

A Pregradaed sporočilo Tema ima tipko in a vrednost. The tipko in vrednost je običajno ločena z vejica ali drug poseben znak. Ni pomembno, s kakšnim posebnim znakom ločite tipko in vrednost par. Toda povsod pri tem morate uporabljati isti posebni znak Tema. V nasprotnem primeru bi lahko šlo narobe.

The tipko se uporablja za določitev katere Pregrada sporočilo Tema pripada. Na a Tema. Če imate 3 Pregradas, potem uporabite 3 drugačen tipkos. Tako da lahko sporočila razdelimo na 3 Pregradas.

Recimo naše uporabnikov Tema ima 3 uporabniki z tipka 1, 2, in 3, vsak od njih pripada enemu od 3 Pregradas uporabniki Tema.

Zaženite naslednji ukaz, da dodate prvega uporabnika z tipka 1 uporabljati Kafka Producer API:

$ echo "1, name: 'Shahriar Shovon', država: 'BD'" | sudo kafka-producent konzole.sh \
--posredniški seznam localhost: 9092 \
--uporabniki teme \
--razčlenitev lastnine.key = true \
--ključ lastnosti.ločilo =,

Zdaj lahko navedete sporočilo iz uporabnikov Tema uporabljati Kafka Consumer API z naslednjim ukazom:

$ sudo kafka-console-consumer.sh \
--skrbnik živalskega vrta localhost: 2181 \
--uporabniki teme \
--lastnost tiskanja.key = true \
--ključ lastnosti.ločilo =, \
--od začetka

Kot lahko vidite, tipko in vrednost par, ki sem ga pravkar dodal v uporabnikov Tema je naveden.

Obdržal bom Potrošnik program za uporabnikov Tema odprite na tem terminalu in dodajte druge uporabnike v uporabnikov Tema od drugega Terminal in poglejte, kaj se bo zgodilo.

Dodajte drugega uporabnika z tipka 2 z naslednjim ukazom:

$ echo "2, ime: 'John Doe', država: 'BD'" | sudo kafka-producent konzole.sh \
--seznam posrednikov localhost: 9092 \
--uporabniki teme \
--razčlenitev lastnine.key = true \
--ključ lastnosti.ločilo =,

Kot lahko vidite iz označenega oddelka spodnjega posnetka zaslona, ​​je novi uporabnik takoj prikazan v programu Consumer.

Dodajmo še zadnjega uporabnika z tipka 3 z naslednjim ukazom:

$ echo "3, name: 'Evelina Aquilino', country: 'US'" | sudo kafka-producent konzole.sh \
--seznam posrednikov localhost: 9092 \
--uporabniki teme \
--razčlenitev lastnine.key = true \
--ključ lastnosti.ločilo =,

Kot lahko vidite, je novi uporabnik naveden tudi v Potrošnik program.

V isto lahko dodate tudi veliko uporabnikov Pregrada. Samo poskrbite za tipko je enako.

Dodajmo še enega uporabnika v Pregrada s tipka 1:

$ echo "1, ime: 'Lynelle Piatt', država: 'CA'" | sudo kafka-producent konzole.sh \
--posredniški seznam localhost: 9092 \
--uporabniki teme \
--razčlenitev lastnine.key = true \
--ključ lastnosti.ločilo =,

Kot lahko vidite, je novi uporabnik dodan pravilnemu Pregrada od uporabniki Tema.

Lahko še naprej dodajam naključne uporabnike v uporabnikov Tema in poslali jih bodo skozi pravilno particijo, kot lahko vidite na spodnjem posnetku zaslona.

Tako je torej Pregradas v Apache Kafka deluje. Vsak Pregrada je kot Čakalna vrsta, najprej se prikaže prvo sporočilo, ki ga pošljete prek te particije, nato pa drugo sporočilo in tako naprej v vrstnem redu, v katerem so poslani.

Če ste Java razvijalec, lahko uporabite Java programski jezik in API Apache Kafka Javas početi zanimive stvari z Apachejem Kafko Pregradas. Lahko na primer dodelite drugačno Pregrada za različne klepetalnice za vašo aplikacijo za neposredna sporočila, saj morajo biti sporočila prikazana v vrstnem redu pošiljanja.

Torej, to je vse za danes. Hvala, ker ste prebrali ta članek.

Najboljše igre ukazne vrstice za Linux
Ukazna vrstica ni le vaš največji zaveznik pri uporabi Linuxa - lahko je tudi vir zabave, saj jo lahko uporabljate za igranje številnih zabavnih iger,...
Najboljše aplikacije za preslikavo gamepadov za Linux
Če želite igre na Linuxu igrati z igralno ploščico namesto s tipičnim sistemom za vnos tipkovnice in miške, je za vas na voljo nekaj uporabnih aplikac...
Uporabna orodja za igralce Linux
Če radi igrate igre na Linuxu, obstaja verjetnost, da ste za izboljšanje igralne izkušnje uporabljali aplikacije in pripomočke, kot so Wine, Lutris in...