pjcosta47 na verdade o WooCommerce já possui essa funcionalidade e gera automaticamente as páginas de categorias. Para acessar elas o caminho padrão é dominio-do-site.com/categoria-produto/nome-da-categoria onde a parte categoria-produto pode ser configurada indo em Configurações > Links permanentes e alterando a bas e das categorias de produto
Se tiver dúvidas sobre o link para acessar cada categoria, vá em Produtos > Categorias, escolha uma categoria da lista e clique na opção ver.
Se você quiser personalizar essa página, uma personalização mais geral pode ser feita no próprio tema em Aparência > Personalizar > WooCommerce > Catálogo de produtos. Essa é uma configuração generalziada para todos os loops de produtos, incluindo a página de categorias. Para mais informações sobre essas configurações acesse a documentação do tema.
Se o seu objetivo for uma personalização mais detalha, poderá fazer isso acessando Astra > Site Builder > Archive e criar um novo modelo. Tenha em mente que essa operação deve ser feita com certo cuidado para evitar problemas com o loop de produtos. Você também tem a opção de editar os layouts sudando seu editor, caso ele possua essa capacidade, como o Elementor ou Beaver Builder.
