Kafka Fluxo de partição de distribuição

Question 1

No Kafka Stream, stream tasks serão distribuídas entre as instâncias em multi-instância(e, portanto, partitions vai ser distribuído). Por outro lado, uma das diferenças entre KTable e GlobalKTable é que KTable distribui partitions entre instâncias(a partir de Dominar Kafka Fluxos e ksqlDB).

Agora eu não consigo entender que KTable eventualmente, fará a distribuição ou Stream Task ou ambos(Se ambos, em seguida, como)?

O que aconteceu, se temos KTable em nosso topology e vários stream task(fonte processador multi-divisória tópico) em um multi-instância ambiente?

Question 2

Com certeza a certeza se compreendo perfeitamente a questão. Talvez o docs ajudar a lançar alguma luz: https://docs.confluent.io/platform/current/streams/architecture.html

Um KTable (e KStream) é uma lógica de abstração. Quando você chamar streamsBuilder.build() ele será compilado em um Topology com Processors. Conectado Processors (que pode ter um estado de armazenamento anexado) são agrupadas em sub-topologias e sub-topologias são executadas por tarefas (base no número de partições).

Para streamsBuilder.table("topic")o compilado Topology é:

topic -> source -> processor(state)

Para cada tópico partição, uma tarefa será criado o processamento de uma partição, e, assim, o KTable implicitamente é particionado, também.

Matthias J. Sax · Answer 1 · 2021-12-05T21:26:26

Com certeza a certeza se compreendo perfeitamente a questão. Talvez o docs ajudar a lançar alguma luz: https://docs.confluent.io/platform/current/streams/architecture.html

Um KTable (e KStream) é uma lógica de abstração. Quando você chamar streamsBuilder.build() ele será compilado em um Topology com Processors. Conectado Processors (que pode ter um estado de armazenamento anexado) são agrupadas em sub-topologias e sub-topologias são executadas por tarefas (base no número de partições).

Para streamsBuilder.table("topic")o compilado Topology é:

topic -> source -> processor(state)

Para cada tópico partição, uma tarefa será criado o processamento de uma partição, e, assim, o KTable implicitamente é particionado, também.

Eu li isso antes, mas eu não conseguia entender isso. Eu vou lê-lo novamente. Obrigado @Matthias j. Sax

Kafka Fluxo de partição de distribuição

Pergunta

Melhor resposta

Em outros idiomas

Esta página está em outros idiomas

Popular nesta categoria

Perguntas populares nesta categoria