Para remover uma página de seu site, basta clicar em . O ícone aparece quando você coloca o cursor em cima do nome da página.

Note que essa ação é irreversível e você não pode remover a página inicial (mas pode renomear).