Yaron conforme é mencionado no PDF, a base de dados são arquivos (pdf, imagens, txt, planilhas, audios, vídeos, transcrições, etc) que você ou seu cliente já possui. Você também pode usar uma lista de links relevantes e que façam sentido com o seu projeto, então você pode salvar a lista de links em um arquivo também e adicionar no prompt para servir também como base de conhecimento.
Ao usar o prompt de extração de textos (de imagens ou arquivos), você pode salvar as informações que o GPT criar em arquivos txt ou qualquer outro tipo de arquivo de texto para futuros usos, assim não precisará refazer o procedimento com vários arquivos, podendo usar apenas o arquivo principal que você irá compilar como base principal de dados. Faça seus testes e veja se funciona bem. Só deixe o arquivo final bem organizado e de preferência tudo em markdown para facilitar futuras leituras da IA.