AndreProg depende um pouco de como você vai trabalhar. Não é obrigatório ter acesso a FTP, mas algumas vezes é necessário. Eu não sei como funciona o navegador de arquivos do Windows, mas no Linux eu consigo acessar via FTP usando o próprio navegador de arquivos, assim fica extremamente fácil fazer as operações de transferência de arquivos e aceso aos arquivos do site quando necessário; a senha já fica salva e então eu só preciso dar dois cliques para fazer a conexão; é uma baita mão na roda.

Caso o Windows tenha esse recurso, vai facilitar bastante, mas caso não tenha é bom ter um software de dicado a FTP para resolver problemas diversos.
O curso está antigo mas todas as práticas continuam exatamente as mesmas, incluindo essas questões de acesso via FTP e SSH. Lembrando que se você estiver fazendo em localhost você não precisa se preocupar com nada disso, pois é só usar o navegador de arquivos do próprio sistema, já que tudo estará no seu computador (mas eles avisam isso durante as aulas).