Apacke Kafka Ouvinte Threads

Kafka sempre dá uma única partição de dados para um consumidor thread

Para restringir o número de threads para 20 com 150 partições, você pode definir a concorrência para 8 o que efetivamente deve criar 8 separado do consumidor instâncias e limitar o número de threads para um máximo de <19 (150/8).

Esta é uma outra pilha de postar no tópico que explica um pouco mais para a definição de simultaneidade na sua kafka ouvinte de fábrica. Também esta é outra fonte decente para explicar alguns dos conceitos em torno de kafka tópicos e partições.

1. Se você quiser maximizar o consumo, sim, você precisa 150 consumer threads em 150 partitions (1 consumidor thread por partição). No caso de você só ter 20, você não pode desejar maximizar o consumo, em vez disso, agora 1 consumidor é responsável por consumir, por exemplo, 150/20=7 partitions. É uma troca.

2. Você não quer que seu aplicativo consome 50 topics de cada vez. Ele leva para o problema de escala. Vamos dizer que agora um tópico precisa aumentar o número de seus partitions de 3 a 6, na horizontal, a escala de seu app de 1 a 2 instâncias, o que significa que a partir de 150 consumers 300 consumers e há apenas 150 + (6-3) = 153 ativo consumers, as outras ficam ociosas.