FAQ - Perguntas Frequentes
- Instruções relativas aos recursos do convênio USP-Rice
- Como transfiro arquivos para as máquinas de HPC?
- Como faço para submeter jobs nas máquinas de HPC?
- Como verifico os processos submetidos para execução?
- Não consigo compilar. Porquê?
- Como posso fazer um backup dos meus dados?
- Como rodo jobs paralelos?
- Como eu mudo a minha senha?
- Quais as filas para processamento?
- Vou publicar um trabalho no qual utilizei recursos de HPC. Qual é a maneira correta de citá-lo?
- Como é feito o controle de ocupação de espaço em disco para cada usuário?
- Como saber quanto de espaço em disco estou usando?
- Qual é o meu limite de utilização de espaço em disco?
- Como é o procedimento de backup e "limpeza" de arquivos antigos dos discos de HPC?
- Como saber quanta memória um programa necessita para rodar?
- Como posso saber quais são os programas rodando em cada máquina?
- Por que alguns aplicativos não executam e apresentam a mensagem "can't open display"?
- Como posso compilar um programa?
- Como submeter processos gaussian?
- Alguns calculos gaussian nao terminam corretamente. O que pode ser feito a respeito?
- Como posso trocar a shell default para minha conta?
- Como obter informações sobre os comandos do sistema operacional?
- Por que às vezes não enxergo meu diretório /scratch?
- Como posso acessar as máquinas de HPC a partir de uma máquina externa?
- Como posso acessar de minha casa (acesso doméstico)?
- Como faço transferência de arquivos utilizando os recursos de HPC de minha residência?
- Como eu faço para utilizar as rotinas LAPACK e BLAS da intel?
- O que fazer caso eu esqueça minha password?
- Ao executar um sftp de um arquivo texto do micro para a shark o arquivo ficou com um ^M no final de todas as linhas. Como eu retiro estes ^M?
- Walltime e cputime?
- Instruções relativas aos recursos do convênio USP-Rice
Os links abaixo contém materiais relevantes quanto ao uso dos recursos do referido convênio de cooperação.
Getting Started do BG/Q
Getting Started do BG/P
Documentação do BG/P
Getting Started do DaVinci
Documentação do DaVinci
Voltar para Início - Como transfiro arquivos para as máquinas de HPC?
O front-end shark deve ser usado como máquina intermediária entre seu computador e a aguia ou lince. Assim transfira seus arquivos para o diretório /home da shark com scp(secure copy) ou sftp(secure file transfer protocol). No windows, instale um programa cliente ssh(por exemplo Putty). Na shark, execute o comando scp ou sftp para a aguia ou lince.
Caso desejem fazer a conexao atraves de tunel ssh, diretamente no cluster, usando a shark.lcca.usp.br como intermediaria, execute no seu computador (linux) local: ssh -2 -L 8020:nome_fqdn_do_cluster:22 USUARIO@shark.lcca.usp.br nome_fqdn_do_cluster pode ser aguia.lcca.usp.br ou lince.lcca.usp.br ou USUARIO deverá ser preenchido com o seu usuário de login. Não feche (ie, não dê logout) o terminal. Abra outro terminal no seu computador (linux) local e digite: * Para transferir arquivos do cluster para o computador local scp -r -P 8020 USUARIO@localhost:/CAMINHO /DIR_LOCAL * Para transferir arquivos do computador local para o cluster scp -r -P 8020 /DIR_LOCAL USUARIO@localhost:/CAMINHO * Para usar um terminal no cluster ssh -oPort=8020 USUARIO@localhost
Voltar para Início - Como faço para submeter jobs nas máquinas de HPC?
Veja os exemplos de job no seu diretorio de entrada. Comandos para manipulação de filas:
qsub job Submete o job para execução
qstat -a Verifica as filas
qdel -9 <nº> Cancela o job. <nº> você verifica com qstat -a.
Voltar para Início - Como verifico os processos submetidos para execução?
Execute o comando "qstat -a".
Voltar para Início - Não consigo compilar. Porquê?
Verifique o path do sistema. Voce deve fazer o source dos seguintes arquivos no seu .bashrc, da seguinte forma:
. /opt/intel/Compiler/11.0/083/bin/iccvars.sh intel64
. /opt/intel/Compiler/11.0/083/bin/ifortvars.sh intel64
Voltar para Início - Como posso fazer um backup dos meus dados?
Como não é feita cópia de segurança dos diretórios /scratch, o usuário e responsável pela cópia de seus dados e eventual recuperação em caso de perda dos mesmos.
Para transferência de arquivos utilize o /home da shark. Você pode executar o comando sftp para a shark e transferir seus arquivos. E assim, posteriormente transferir para seu micro pessoal.
Voltar para Início - Como rodo jobs paralelos?
Verifique os modelos de jobs paralelos no seu diretorio home. .
Voltar para Início - Como eu mudo a minha senha?
A mudança de senha e feita pelo comando "passwd".
A senha (password) de cada usuário deve ser escolhida de forma que seja praticamente impossível outra pessoa descobrí-la. A segurança de todo o sistema depende do cuidado dos usuários com a escolha da password. Para tanto, sugerimos alguns procedimentos básicos para a escolha da password:
- Não use seu username (login) nem qualquer variação do mesmo (invertido, com letras maiúsculas, duplicado, etc.);
- Não use qualquer um de seus nomes ou sobrenomes nem qualquer variação destes;
- Não use qualquer informação a seu respeito que possa ser facilmente obtida (placa de automóvel, número de telefone, marca de automóvel, nome de pessoas de sua família, data de nascimento, endereço, etc...);
- Não use uma password apenas de números, ou repetições de uma mesma letra;
- Não use uma password menor que seis caracteres;
- Use passwords que misturem caracteres maiúsculos e minúsculos;
- Use passwords com caracteres não alfabéticos, ou seja, números e pontuação;
- Use uma password que você possa digitar facilmente sem ter que olhar para o teclado.
- Quais as filas para processamento?
Verifique as filas com o comando "qstat -q".
Voltar para Início - Vou publicar um trabalho no qual utilizei recursos de HPC. Qual é a maneira
correta de citá-lo?
No artigo a ser publicado, na parte de "Agradecimentos" ou "Acknowledgements", pedimos que seja citado o seguinte parágrafo:
Pesquisa desenvolvida com o auxílio dos recursos de HPC disponibilizados pela Superintendencia de Tecnologia da Informacao da Universidade de São Paulo.
Voltar para Início - Como é feito o controle de ocupação de espaço em disco para cada usuário?
O usuário recebe uma quota física e uma quota lógica. A quota lógica é a quota solicitada. A física ultrapassa em 5% a quota lógica. Quando o usuário ultrapassa a sua quota lógica, o sistema infoma por uma semana a necessidade de eliminação de arquivos. Após 7 dias, o sistema não permite mais a gravação de arquivos.
Voltar para Início - Como saber quanto de espaço em disco estou usando?
O comando para ver a quantidade de espaço em disco a partir de um diretório é:
du -ks
A opção -k apresenta o espaço utilizado em Kbytes, cálculadas em blocos de 1024 bytes; o default seria em blocos de 512 bytes, resultando num valor dobrado. A opção -s apresenta somente o total do espaço ocupado, a partir do diretório corrente (sem o -s será apresentado o espaço ocupado por cada subdiretório a partir do diretório corrente).
Voltar para Início - Qual é o meu limite de utilização de espaço em disco?
Ao submeter o projeto, o usuário indica a necessidade de espaço em disco. Se esta informação não foi fornecida, o usuário recebe para armazenamento em disco os diretórios:
/home/<login> com 50 Mb na shark.
Onde <login> é o código pessoal de acesso as máquinas. O diretório /home/login é a área reservada para armazenamento permanente de arquivos do usuário. O diretório /scr/<login> deve ser utilizado somente para armazenamento temporário de arquivos.
Voltar para Início - Como é o procedimento de backup e "limpeza" de arquivos antigos dos discos de HPC?
O CeTI-SP não impõe um procedimento de "limpeza" de arquivos antigos. Quando o espaço ocupado alcança cerca de 95%, o CCE entra em contato com os usuários com mais espaço utilizado e solicita a limpeza. A prática tem mostrado que os usuários são bastante conscientes e que sempre que o espaço em disco se torna crítico a situação se resolve com relativa rapidez. Como não é feita cópia de segurança dos diretórios /scratch, o usuário é responsável pela cópia de seus dados e eventual recuperação em caso de perda dos mesmos. Como nao e feito backup das areas do usuario, sugerimos que os usuários façam cópias de segurança dos seus dados.
Voltar para Início - Como saber quanta memória um programa necessita para rodar?
Rode o comando:
size <executável>
,substituindo <executável> pelo nome do seu programa executável.
Voltar para Início - Como posso saber quais são os programas rodando em cada máquina?
Execute o comando "qstat -a".
Voltar para Início - Por que alguns aplicativos não executam e apresentam a mensagem "can't open display"?
Os aplicativos que trabalham em "janelas" enviam a saída (de vídeo) para a máquina indicada pela variável DISPLAY. Sempre que você executar algum aplicativo em uma máquina remota, pode ser necessário configurar a variável de ambiente DISPLAY com o nome da máquina em que você está trabalhando.
Voltar para Início - Como posso compilar um programa?
Verifique na tabela abaixo o comando correspondente:
Máquina Fortran 77 Fortran 90 C C++ aguia e lince g77
ifort
ifortcc
iccCC
icc
Para informações completas sobre o comando xlf, por exemplo, execute:
"man ifort".
Para utilizar os compiladores da Intel, coloque os comandos abaixo no arquivo /pmt/usuario/.bash_profile para configurar o ambiente:
. /opt/intel/fc/9.0/bin/ifortvars.sh
. /opt/intel/cc/9.0/bin/iccvars.sh
. /opt/intel/mkl72cluster/tools/environment/mklvars32.sh
. /opt/intel/mpi/2.0/bin/mpivars.sh
Voltar para Início - Como submeter processos no Gaussian?
Exemplo de job:
#!/bin/bash -v
#PBS -N gauss_job
#PBS -j oe
#PBS -l ncpus=1
#PBS -q short
g03root="/usr/local"
GAUSS_SCRDIR="/scratch/usuario/gauss"
export g09root GAUSS_SCRDIR
. $g09root/g09/bsd/g09.profile
cd /scratch/usuario/gauss
g09 test000.com
Voltar para Início - Alguns calculos gaussian nao terminam corretamente. O que pode ser feito a respeito?
O gaussian foi compilado com o compilador Intel, e em alguns casos, não termina a execução dos cálculos. Entramos em contato com o suporte gaussian, que nos informou que eles não dão suporte ao compilador Intel, apenas para o compilador Portland. Como não temos o compilador Portland, e rodar em 1 CPU resolveu o problema para usuários que não tinham seus cálculos terminados, passamos esta sugestão para todos que tem este problema:
Alterar a primeira linha do arquivo de entrada para
%nprocshared=1
e, no job, solicitar 1 CPU na linha
#PBS -l nodes=1:ppn=1
Voltar para Início - Como posso trocar a shell default para minha conta?
Você pode alterar a shell usando o comando chsh, que apresenta as opções disponíveis no ambiente para shell. Digite "chsh" e o sistema pergunta se você deseja modificar a shell e qual você deseja passar a usar.
Voltar para Início - Como obter informações sobre os comandos do sistema operacional?
Se você conhece alguns comandos mas não sabe como utilizá-los, basta executar o help do sistema, que é o comando "man". Por exemplo: se você tem dúvida no comando "ls" (lista o conteúdo de um diretório), execute "man ls".
Voltar para Início - Por que às vezes não enxergo meu diretório /scratch?
Os discos /scratch são montados via NFS. Quando há algum problema de rede (ou quebra na comunicação entre as máquinas) pode acontecer que temporariamente você não tenha acesso aos seus discos /scr. A Shark não tem acesso direto aos diretórios /scr. Você tem que se logar na máquina correspondente, para ter acesso. Por exemplo, para acessar o /scratch da aguia, primeiro se logue na aguia.
Voltar para Início - Como posso acessar as máquinas de HPC a partir de uma máquina externa?
Acesse a shark.lcca.usp.br via ssh e posteriormente as outras máquinas de HPC tambem por ssh.
Voltar para Início - Como posso acessar os recursos de HPC de minha casa (acesso doméstico)?
Para acessar as máquinas de HPC, usando o serviço de acesso residencial, ou de qualquer outro provedor de acesso, o usuário deverá executar o comando "ssh shark.lcca.usp.br " e depois se conectar com as outras máquinas de HPC.
Voltar para Início - Como faço transferência de arquivos utilizando os recursos de HPC de minha residência?
As transferências de arquivo devem ser feitas via sftp ou scp para a máquina shark.lcca.usp.br.
Voltar para Início - Como eu faço para utilizar as rotinas LAPACK e BLAS da intel?
Inclua no Makefile algo parecido com as opções abaixo de acordo com a versao instalada:
LAPACK: -L/opt/intel/mkl721/lib/32 -lmkl_lapack -lmkl_ia32 -lguide -lpthread
BLAS: -L/opt/intel/mkl721/lib/32 -lmkl_ia32 -lguide -lpthread -lm
Voltar para Início - O que fazer caso eu esqueça minha password?
Entre em contato pelo telefone (0**11) 3091-6353 ou por e-mail para hpc@usp.br, informando que você deseja alterar a password.
Voltar para Início - Ao executar um sftp de um arquivo texto do micro para a shark o arquivo
ficou com um ^M no final de todas as linhas. Como eu retiro estes ^M?
Entre no editor de textos vi e execute:
<esc>:s/<ctrl>V<ctrl>M//g,
onde <esc> e <ctrl> são as teclas ESCAPE e CONTROL do teclado.
Voltar para Início - Walltime e cputime
O comando "qstat -q" mostrará a lista de filas e os limites de walltime e cputime.
Se o job tiver quantidade de horas maior que o limite de cputime/walltime da fila ou o valor solicitado no job (o menor valor será utilizado), a fila irá matar o processo. No job especifique o cputime e walltime de acordo com a fila selecionada no "#PBS -q NOME_FILA". Podes usar o máximo de walltime/cputime da fila, caso tenha dúvida.
As diretivas abaixo podem ser utilizadas para especificar os tempos de 200 horas para walltime e 4000 horas de cputime para um job que irá reservar 20 cpus.
#PBS -l walltime=200:00:00
#PBS -l cput=4000:00:00
cputime é a soma do tempo consumido por cada cpu do job solicitado.
walltime é o tempo corrido consumido pelo job.
Abaixo esta a lista de filas e os respectivos tempos limite da AGUIA, para efeito de exemplo.
[root@aguia000:/root]# qstat -q
server: aguia000.cs6bcloud.internal
Queue CPU Time Walltime
parallel 17000:00 275:00:0
bigparallel 80000:00 275:00:0
long 7000:00: 550:00:0
verylong 40000:00 2000:00:
batch 1500:00: 1500:00:
A fila batch deve rodar somente jobs serias (que usam só uma CPU).
Voltar para Início