Olá espezen. Faça o seguinte:
1 - Atualize tudo: Wordpress, plugins e o tema. Certifique de atualizar especialmente o Astra, que atualmente se encontra na versão 4.8.0; confirme que esteja nessa versão.
2 - Vá em Aparência > Personalizar e veja se agora aparece a opção de construtor de cabeçalho e construtor de rodapé.

Caso ainda não apareça, siga os passos dessa aula:
Se você estiver acompanhando o curso pelo Youtube, recomendo que faça o curso pelo site do Curso em Vídeo pois lá o curso está oganizado já com as aulas da playlist complementar na sequência correta. Se acompanhar pelo Youtube deverá acompanhar a playlist principal, mas também a playlist complementar que mostra o que alterou após a finalização do curso.
Se tiver interesse também em concorrer ao premio do Kit Curso em Vídeo, abra essa publicação e deixe uma resposta dizendo seu curso preferido. Embora a votação tenha se encerrado o sorteio será amanhã e se responde hoje ainda conseguirei colocar seu nome na lista.