Arthurms se mudar as informações de acesso à hospedagem e só você tiver acesso, ninguém conseguirá mais fazer nada, mas para garantir isso é importante que ninguém tenha as informações de acesso ao banco de dados e FTP também; se alguém não tiver as credenciais da hospedagem, mas já tiver anotado as informações de acesso ao banco de dados e FTP, ela terá acesso integral ao seu site pois é bem simples criar um usuário novo via banco de dados ou então mudar a role, eu mostro isso neste artigo. Nele eu uso o painel da hospedagem, mas posso fazer sem usar ele desde que eu conheça o link de acesso ao db.
Então se quer 100% de segurança nesse sentido, recomendo trocar, além das credenciais de acesso ao painel da hospedagem, mudar também a senha de acesso ao FTP e a senha do banco de dados. O problema de alterar a senha do banco de dados é que você deverá editar o arquivo wp-config.php mudando a senha na linha com o código define( 'DB_PASSWORD', 'senha-do-seu-banco-de-dados' );

Na print exemplo de um site que tenho instalado localmente. Edite essa linha colocando dentro das aspas simples a nova senha do banco de dados que você deverá alterar pelo painel da hospedagem.
Sobre a questão de a pessoa já estar logada, ela não perderá o acesso porque algumas informações ficam gravadas no cookie do navegador por algum tempo, então se ela fechou o navegador sem logar, ao abrir novamente poderá ainda estar logada, por isso seria interessante você alterar a role de todos os admins temporariamente.