Obter todos os Amazon S3 arquivos dentro de um balde dentro de Promessa

Question 1

Eu estou tentando pegar milhares de arquivos da Amazon S3 dentro de uma Promessa, mas eu não consigo descobrir como incluir o ContinuationToken dentro se a lista é truncado e reunir tudo isso dentro de uma promessa. Eu sou um novato com JS e poderia usar alguma ajuda. Aqui está o que eu tenho, até agora:

getFiles()
    .then(filterFiles)
    .then(mapUrls)
;

function getFiles(token) {
    var params = {
        Bucket: bucket,
        MaxKeys: 5000,
        ContinuationToken: token
    };
    var allKeys = [];

    var p = new Promise(function(resolve, reject){
    s3.listObjectsV2(params, function(err, data) {
      if (err) { 
        return reject(err);
      }
      allKeys.push(data.Contents)
      if (data.IsTruncated) {
        s3.listObjectsV2({Bucket: bucket, MaxKeys: 5000, ContinuationToken: data.NextContinuationToken})
        console.log('Getting more images...');
        allKeys.push(data.Contents)
      }
      resolve(data.Contents);
    });
  });

  return p;
}

Eu preciso de função para continuar a executar até que eu criei uma lista de todos os objetos no balde para retornar.

Question 2

Você precisa ContinuationToken a segunda vez só.

var params = {
    Bucket: bucket,
    MaxKeys: 5000,
};

if (data.IsTruncated) {
    s3.listObjectsV2({...params, ContinuationToken: data.NextContinuationToken})

IMO, isso é apenas um s3 função chamada duas vezes, mais como um aninhados chamada. A recursividade é quando uma função mantém-se chamar a si própria até que uma determinada condição seja satisfeita.

Leia mais sobre recursão: https://medium.com/@vickdayaram/recursion-caad288bf621

Question 3

Eu era capaz de listar todos os objetos no balde usando async/await e o código abaixo para preencher uma matriz.

async function getFiles(objects = []) {
    const response = await s3.listObjectsV2(params).promise();
    response.Contents.forEach(obj => filelist.push(obj.Key));
    if (response.NextContinuationToken) {
        params.ContinuationToken = response.NextContinuationToken;
        await getFiles(params, objects);
    }
    console.log(filelist.length)
    return filelist;
}

Obrigado a todos que ajudaram!

sid · Answer 1 · 2021-10-25T16:29:42

Você precisa ContinuationToken a segunda vez só.

var params = {
    Bucket: bucket,
    MaxKeys: 5000,
};

if (data.IsTruncated) {
    s3.listObjectsV2({...params, ContinuationToken: data.NextContinuationToken})

IMO, isso é apenas um s3 função chamada duas vezes, mais como um aninhados chamada. A recursividade é quando uma função mantém-se chamar a si própria até que uma determinada condição seja satisfeita.

Leia mais sobre recursão: https://medium.com/@vickdayaram/recursion-caad288bf621

Bom ponto - eu vou atualizar a minha pergunta com mais detalhes. Eu preciso de função para continuar a executar até que todos os arquivos foram recuperados.

AppleBaggins · Answer 2 · 2021-10-26T00:59:26

Eu era capaz de listar todos os objetos no balde usando async/await e o código abaixo para preencher uma matriz.

async function getFiles(objects = []) {
    const response = await s3.listObjectsV2(params).promise();
    response.Contents.forEach(obj => filelist.push(obj.Key));
    if (response.NextContinuationToken) {
        params.ContinuationToken = response.NextContinuationToken;
        await getFiles(params, objects);
    }
    console.log(filelist.length)
    return filelist;
}

Obrigado a todos que ajudaram!

Obter todos os Amazon S3 arquivos dentro de um balde dentro de Promessa

Pergunta

Em outros idiomas

Esta página está em outros idiomas

Popular nesta categoria

Perguntas populares nesta categoria