Kafka floco de Neve Conector: org.apache.kafka.comum.rede.InvalidReceiveException: Inválido receber

Question 1

Trabalhador Nó distribuídos-conector de registo:

[2021-11-23 09:05:22,605] WARN The configuration 'config.storage.topic' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:362)
[2021-11-23 09:05:22,606] WARN The configuration 'rest.advertised.host.name' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:362)
[2021-11-23 09:05:22,606] WARN The configuration 'status.storage.topic' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:362)
[2021-11-23 09:05:22,606] WARN The configuration 'group.id' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:362)
[2021-11-23 09:05:22,606] WARN The configuration 'rest.host.name' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:362)
[2021-11-23 09:05:22,606] WARN The configuration 'rest.advertised.port' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:362)
[2021-11-23 09:05:22,606] WARN The configuration 'plugin.path' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:362)
[2021-11-23 09:05:22,606] WARN The configuration 'config.storage.replication.factor' was supplied but isn't a known config.    (org.apache.kafka.clients.admin.AdminClientConfig:362)
[2021-11-23 09:05:22,606] WARN The configuration 'offset.flush.interval.ms' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:362)
[2021-11-23 09:05:22,606] WARN The configuration 'rest.port' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:362)
[2021-11-23 09:05:22,606] WARN The configuration 'key.converter.schemas.enable' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:362)
[2021-11-23 09:05:22,606] WARN The configuration 'status.storage.replication.factor' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:362)
[2021-11-23 09:05:22,606] WARN The configuration 'value.converter.schemas.enable' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:362)
[2021-11-23 09:05:22,606] WARN The configuration 'offset.storage.replication.factor' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:362)
[2021-11-23 09:05:22,606] WARN The configuration 'topic' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:362)
[2021-11-23 09:05:22,606] WARN The configuration 'offset.storage.topic' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:362)
[2021-11-23 09:05:22,607] WARN The configuration 'value.converter' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:362)
[2021-11-23 09:05:22,607] WARN The configuration 'key.converter' was supplied but isn't a known config. (org.apache.kafka.clients.admin.AdminClientConfig:362)
[2021-11-23 09:05:22,607] INFO Kafka version: 2.6.0 (org.apache.kafka.common.utils.AppInfoParser:117)
[2021-11-23 09:05:22,607] INFO Kafka commitId: 62abe01bee039651 (org.apache.kafka.common.utils.AppInfoParser:118)
[2021-11-23 09:05:22,607] INFO Kafka startTimeMs: 1637658322607 (org.apache.kafka.common.utils.AppInfoParser:119)
[2021-11-23 09:05:22,991] INFO Kafka cluster ID: zojXCfzxQum_fc3mC6WN_A (org.apache.kafka.connect.util.ConnectUtils:65)
[2021-11-23 09:05:23,008] INFO Logging initialized @10836ms to org.eclipse.jetty.util.log.Slf4jLog (org.eclipse.jetty.util.log:169)
[2021-11-23 09:05:23,076] INFO Added connector for http://**masternodename**:8083 (org.apache.kafka.connect.runtime.rest.RestServer:132)
[2021-11-23 09:05:23,076] INFO Initializing REST server (org.apache.kafka.connect.runtime.rest.RestServer:204)
[2021-11-23 09:05:23,083] INFO jetty-9.4.24.v20191120; built: 2019-11-20T21:37:49.771Z; git: 363d5f2df3a8a28de40604320230664b9c793c16; jvm 1.8.0_192-BellSoft-b12 (org.eclipse.jetty.server.Server:359)
[2021-11-23 09:05:23,120] ERROR Stopping due to error (org.apache.kafka.connect.cli.ConnectDistributed:84)
org.apache.kafka.connect.errors.ConnectException: Unable to initialize REST server
    at   org.apache.kafka.connect.runtime.rest.RestServer.initializeServer(RestServer.java:216)
    at   org.apache.kafka.connect.cli.ConnectDistributed.startConnect(ConnectDistributed.java:99)
    at org.apache.kafka.connect.cli.ConnectDistributed.main(ConnectDistributed.java:78)
    Caused by: java.io.IOException: Failed to bind to MasterServerName/MasterIP:8083
    at   org.eclipse.jetty.server.ServerConnector.openAcceptChannel(ServerConnector.java:346)
    at org.eclipse.jetty.server.ServerConnector.open(ServerConnector.java:307)
    at org.eclipse.jetty.server.AbstractNetworkConnector.doStart(AbstractNetworkConnector.java:80)
        at org.eclipse.jetty.server.ServerConnector.doStart(ServerConnector.java:231)
        at org.eclipse.jetty.util.component.AbstractLifeCycle.start(AbstractLifeCycle.java:72)
        at org.eclipse.jetty.server.Server.doStart(Server.java:385)
        at org.eclipse.jetty.util.component.AbstractLifeCycle.start(AbstractLifeCycle.java:72)
        at org.apache.kafka.connect.runtime.rest.RestServer.initializeServer(RestServer.java:214)
    ... 2 more
      Caused by: java.net.BindException: Cannot assign requested address
        at sun.nio.ch.Net.bind0(Native Method)
        at sun.nio.ch.Net.bind(Net.java:433)
        at sun.nio.ch.Net.bind(Net.java:425)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        at org.eclipse.jetty.server.ServerConnector.openAcceptChannel(ServerConnector.java:342)
    ... 9 more

Nó Mestre: Servidor.log:

[2021-11-23 09:23:04,041] WARN [SocketServer brokerId=0] Unexpected error from    /**workernode-ip**; closing connection (org.apache.kafka.common.network.Selector)
org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (size = -720899)
        at   org.apache.kafka.common.network.NetworkReceive.readFrom(NetworkReceive.java:103)
        at org.apache.kafka.common.network.KafkaChannel.receive(KafkaChannel.java:447)
        at org.apache.kafka.common.network.KafkaChannel.read(KafkaChannel.java:397)
        at org.apache.kafka.common.network.Selector.attemptRead(Selector.java:678)
        at org.apache.kafka.common.network.Selector.pollSelectionKeys(Selector.java:580)
        at org.apache.kafka.common.network.Selector.poll(Selector.java:485)
        at kafka.network.Processor.poll(SocketServer.scala:913)
        at kafka.network.Processor.run(SocketServer.scala:816)
        at java.lang.Thread.run(Thread.java:748)
    [2021-11-23 09:30:35,461] INFO [GroupMetadataManager brokerId=0] Removed 0 expired offsets in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)

Question 2

Um BindException significa que você tem algumas propriedades de rede mal configurada, ou já existe algo em execução no conflitantes portas. Por exemplo - bootstrap.servers=...localhost:9092... e rest.advertised.port=9092 gostaria de indicar que você tem Kafka corretor já está em execução na porta 9092 e tentando fazer com que Kafka se Conectar iniciar um servidor HTTP na mesma porta, o que não vai funcionar.

Em relação a outras questões que eu possa ver

server.properties > listeners deve sempre ser 0.0.0.0 para um host/ip, e não o nome do computador host se você deseja que os clientes externos para essa máquina.
Se possível, não corra Kafka Ligar no corretores, para localhost:9092 nunca deve ser adicionado ao bootstrap.servers de connect-distriubuted.properties
connect-distributed.properties > rest.advertised.port não deve ser 9092, pois é não um corretor. O padrão de 8083 é bom...
Você deve começar com um corretor e um Ligar de trabalho em diferentes hosts. Se você não tiver acesso a várias máquinas físicas, usando a janela de Encaixe-Redigir, em vez de VMs seria mais simples.

Eu suspeito que esses dois últimos são o seu erro, porque se Conectar está tentando usar o Kafka protocolo TCP em si, de modo que o Inválido "receber" refere-se aos bytes na solicitação/resposta. Em seguida, para configurar corretamente um Kafka cluster de clientes e, em seguida, listeners não deve ser apenas o nome do host da máquina local do processo; este é o que advertised.listeners sobre os corretores são para

OneCricketeer · Answer 1 · 2021-11-23T16:47:52

Um BindException significa que você tem algumas propriedades de rede mal configurada, ou já existe algo em execução no conflitantes portas. Por exemplo - bootstrap.servers=...localhost:9092... e rest.advertised.port=9092 gostaria de indicar que você tem Kafka corretor já está em execução na porta 9092 e tentando fazer com que Kafka se Conectar iniciar um servidor HTTP na mesma porta, o que não vai funcionar.

Em relação a outras questões que eu possa ver

server.properties > listeners deve sempre ser 0.0.0.0 para um host/ip, e não o nome do computador host se você deseja que os clientes externos para essa máquina.
Se possível, não corra Kafka Ligar no corretores, para localhost:9092 nunca deve ser adicionado ao bootstrap.servers de connect-distriubuted.properties
connect-distributed.properties > rest.advertised.port não deve ser 9092, pois é não um corretor. O padrão de 8083 é bom...
Você deve começar com um corretor e um Ligar de trabalho em diferentes hosts. Se você não tiver acesso a várias máquinas físicas, usando a janela de Encaixe-Redigir, em vez de VMs seria mais simples.

Eu suspeito que esses dois últimos são o seu erro, porque se Conectar está tentando usar o Kafka protocolo TCP em si, de modo que o Inválido "receber" refere-se aos bytes na solicitação/resposta. Em seguida, para configurar corretamente um Kafka cluster de clientes e, em seguida, listeners não deve ser apenas o nome do host da máquina local do processo; este é o que advertised.listeners sobre os corretores são para

criado de serviços distribuídos com o trabalhador nó, não há guia. Onde o que devem ser os parâmetros para cluster com base em implementação para 1 Servidor e 2 nós. Como o servidor.propriedades, distribuídas conector.propriedades, zookeeper.propriedades precisa ser configurado deve ser genérico. Incluindo qualquer melhores práticas. Por favor, guia.Como as portas, ips, o servidor de nomes realmente confuso.
Há um guia, embora. A documentação indica que o group.id & bootstrap.servers E 3 internos tópicos são cinco propriedades que deve ser a mesma para criar uma ligação de cluster. - além do comum configurações mencionadas acima, são importantes para definir antes de iniciar o cluster - kafka.apache.org/documentation/#connect
O 4º ponto, como ele pode ser alcançado na AWS EC2 Máquinas? Para o ponto 3: bootstrap.servidores=localhost:9092 é dado para o autônomo, que sobre o mestre de cluster e nós de trabalho. Para o 2º ponto, precisamos ter todos os IPs em vez de localhost certo?
No geral, eu gostaria de sugerir o uso de Ansible (github.com/confluentinc/cp-ansible) ou Kubernetes (via Strimzi) para a instalação de um cluster
Eu recomendo não usar EC2 e, ao invés de utilizar MSK se o objetivo é apenas para fazê-lo funcionar

Kafka floco de Neve Conector: org.apache.kafka.comum.rede.InvalidReceiveException: Inválido receber

Pergunta

Melhor resposta

Em outros idiomas

Esta página está em outros idiomas

Popular nesta categoria

Perguntas populares nesta categoria