|
FAQ
- Como transfiro arquivos para as máquinas do LCCA?
- Como faço para submeter jobs seriais nas máquinas do LCCA?
- Como verifico os processos submetidos para execução?
- Não consigo compilar. Porquê?
- Como posso fazer um backup dos meus dados?
- Como rodo jobs paralelos?
- Como eu mudo a minha senha?
- Quais as filas para processamento?
- Vou publicar um trabalho no qual utilizei recursos do LCCA. Qual é a maneira correta de citá-lo?
- Para onde devo enviar mensagens de dúvidas e solicitações de ajuda?
- Como é feito o controle de ocupação de espaço em disco para cada usuário?
- Como saber quanto de espaço em disco estou usando?
- Qual é o meu limite de utilização de espaço em disco?
- Como é o procedimento de backup e "limpeza" de arquivos antigos dos discos do LCCA?
- Como posso executar processos que precisam de mais espaço em disco que o disponível para o meu código?
- Qual a área de swap de memória e de disco de cada máquina do LCCA?
- Como saber quanta memória um programa necessita para rodar?
- Como posso saber quais são os programas rodando em cada máquina?
- Por que alguns aplicativos não executam e apresentam a mensagem "can't open display"?
- O que significa a mensagem "No space left on device" apresentada pelo sistema?
- Existem arquivos que são mostrados pelo comando ls mas não são vistos por nenhum outro. Como posso acessá-los?
- Para que serve o arquivo "core" que é gerado por alguns de meus processos?
- Como posso compilar um programa?
- Como submeter processos no gaussian?
- Como posso obter uma conta no LCCA?
- Mais de uma pessoa pode utilizar uma conta do LCCA?
- Como posso saber se minha solicitação de abertura de conta foi atendida?
- Como posso trocar a shell default para minha conta?
- Como obter informações sobre os comandos do sistema operacional?
- Por que às vezes não enxergo meu diretório /scr?
- Como posso acessar as máquinas do LCCA a partir de uma máquina externa?
- Como posso acessar o LCCA de minha casa (acesso doméstico)?
- Como faço transferência de arquivos utilizando o LCCA de minha residência?
Como eu faço para utilizar as rotinas LAPACK e BLAS da intel?
- O que fazer caso eu esqueça minha password?
- Recebi um mail dizendo que minha password foi descoberta. O que isto significa?
- Ao executar um sftp de um arquivo texto do micro para a shark o arquivo ficou com um ^M no final de todas as linhas. Como eu retiro estes ^M?
- Como transfiro arquivos para as máquinas do LCCA?
O front-end shark deve ser usado como máquina intermediária entre seu computador e a
PUMA ou o Jaguar.
Assim transfira seus arquivos para o diretório /home da shark com scp(secure copy) ou
sftp(secure file transfer protocol). No windows, instale um programa cliente ssh(por exemplo Putty).
Na shark, execute o comando scp ou sftp para a PUMA ou o Jaguar.
Caso desejem fazer a conexao atraves de tunel ssh, diretamente no cluster,
usando a shark.lcca.usp.br como intermediaria,
execute no seu computador (linux) local:
ssh -2 -L 8020:nome_fqdn_do_cluster:22 USUARIO@shark.lcca.usp.br
nome_fqdn_do_cluster pode ser puma.lcca.usp.br, jaguar.lcca.usp.br ou
mamute.lcca.usp.br.
USUARIO deverá ser preenchido com o seu usuário de login.
Não feche (ie, não dê logout) o terminal. Abra outro terminal
no seu computador (linux) local e digite:
* Para transferir arquivos do cluster para o computador local
scp -r -P 8020 USUARIO@localhost:/CAMINHO /DIR_LOCAL
* Para transferir arquivos do computador local para o cluster
scp -r -P 8020 /DIR_LOCAL USUARIO@localhost:/CAMINHO
* Para usar um terminal no cluster
ssh -oPort=8020 USUARIO@localhost
Voltar para Início
- Como faço para submeter jobs seriais nas máquinas do LCCA?
Para cada máquina há um procedimento. Em todas, há um sistema de filas onde,
através de um job, voce submete o programa para execução.
PUMA
Exemplo de job para executar o programa /pmt/usuario/teste.x:
#!/bin/bash
#PBS -N job_teste
#PBS -j oe
#PBS -k eo
#PBS -l ncpus=1
#PBS -q long
cd /pmt/usuario
./teste.x
Jaguar
Exemplo de job para executar o programa /scratch/usuario/teste.xt do projeto
consulta:
#!/bin/bash
#PBS -N job_teste
#PBS -l nodes = 1:ppn = 1
#PBS -l mem = 1024mb
#PBS -q medium
#PBS -e job.err
#PBS -o job.out
cd /scratch/usuario
./teste.xt
Comandos para manipulação de filas na PUMA e no Jaguar:
qsub job Submete o job para execução
qstat -a Verifica as filas
qdel -9 <nº> Cancela o job. <nº> você verifica com qstat -a.
Voltar para Início
- Como verifico os processos submetidos para execução?
No Jaguar e na PUMA é "qstat -a".
Voltar para Início
- Não consigo compilar. Porquê?
Verifique o path do sistema. O diretório padrão em cada máquina é:
Puma: Na puma, voce deve fazer o source dos seguintes arquivos no seu .bashrc, da seguinte forma:
. /opt/intel/Compiler/11.0/083/bin/iccvars.sh intel64
. /opt/intel/Compiler/11.0/083/bin/ifortvars.sh intel64
Jaguar: /opt/intel ou /usr/bin
Voltar para Início
- Como posso fazer um backup dos meus dados?
Como não é feita cópia de segurança dos diretórios /scr, o usuário e
responsável pela cópia de seus dados e eventual recuperação em caso de perda
dos mesmos.
Para transferência de arquivos utilize o /home da shark. Você pode executar o comando sftp para a
shark e transferir seus arquivos. E assim, posteriormente transferir para seu micro pessoal.
Voltar para Início
- Como rodo jobs paralelos?
PUMA- Há duas filas para processamento paralelo na puma: special e
long. Os jobs deve ser submetidos à partir do frontend puma."
.
Exemplo de job OPENMPI-puma
Exemplo de job MPICH2-puma - Caso tenha selecionado MPICH2 pelo mpi-selector-menu
Voltar para Início
- Como eu mudo a minha senha?
A mudança de senha e feita pelo comando "passwd".
A senha (password) de cada usuário deve ser escolhida de forma que seja praticamente impossível
outra pessoa descobrí-la. A segurança de todo o sistema
depende do cuidado dos usuários com a escolha da password. Para tanto, sugerimos
alguns procedimentos básicos para a escolha da password:
- Não use seu username (login) nem qualquer variação do mesmo (invertido, com
letras maiúsculas, duplicado, etc.);
- Não use qualquer um de seus nomes ou sobrenomes nem qualquer variação destes;
- Não use qualquer informação a seu respeito que possa ser facilmente obtida
(placa de automóvel, número de telefone, marca de automóvel, nome de pessoas de
sua família, data de nascimento, endereço, etc...);
- Não use uma password apenas de números, ou repetições de uma mesma letra;
- Não use uma password menor que seis caracteres;
- Use passwords que misturem caracteres maiúsculos e minúsculos;
- Use passwords com caracteres não alfabéticos, ou seja, números e pontuação;
- Use uma password que você possa digitar facilmente sem ter que olhar para o teclado.
Voltar para Início
- Quais as filas para processamento?
Verifique a tabela abaixo:
| Fila |
Jaguar |
PUMA |
| medium_short |
- |
|
| short |
24 hora |
|
| medium |
96 horas |
|
| medium_long |
- |
|
| long |
200 horas |
|
| verylong |
960 horas |
- |
| large |
- |
- |
| xlarge |
- |
- |
| extra |
- |
- |
| gauss |
- |
- |
| gauss2 |
- |
- |
| special_short |
- |
- |
| night |
- |
- |
| special |
- |
- |
| test_p |
- |
|
| short_p |
- |
|
| long_p |
- |
|
| test |
30 minutos |
- |
Voltar para Início
- Vou publicar um trabalho no qual utilizei recursos do LCCA. Qual é a maneira
correta de citá-lo?
No artigo a ser publicado, na parte de "Agradecimentos"
ou "Acknowledgements", pedimos que seja
citado o seguinte parágrafo:
Pesquisa desenvolvida com o auxílio do LCCA-Laboratório de Computação Científica Avançada da Universidade de São Paulo.
ou
Using resources of the LCCA-Laboratory of Advanced Scientific Computation of the University of São Paulo.
Voltar para Início
- Para onde devo enviar mensagens de dúvidas e solicitações de ajuda?
As mensagens devem ser enviadas para lcca@usp.br.
Voltar para Início
- Como é feito o controle de ocupação de espaço em disco para cada usuário?
O usuário recebe uma quota física e uma quota lógica. A quota lógica é a quota
solicitada ao LCCA. A física ultrapassa em 5% a quota lógica. Quando o usuário
ultrapassa a sua quota lógica, o sistema infoma por uma semana a necessidade de
eliminação de arquivos. Após 7 dias, o sistema não permite mais a gravação de
arquivos.
Voltar para Início
- Como saber quanto de espaço em disco estou usando?
O comando para ver a quantidade de espaço em disco a partir de um diretório é:
du -ks
A opção -k apresenta o espaço utilizado em Kbytes, cálculadas em blocos de 1024 bytes;
o default seria em blocos de 512 bytes, resultando num valor dobrado. A opção -s
apresenta somente o total do espaço ocupado, a partir do diretório corrente (sem o -s
será apresentado o espaço ocupado por cada subdiretório a partir do diretório corrente).
Voltar para Início
- Qual é o meu limite de utilização de espaço em disco?
Ao submeter o projeto ao LCCA o usuário indica a necessidade de espaço em disco. Se esta informação não foi fornecida, o usuário recebe para
armazenamento em disco os diretórios:
/home/<login> com 50 Mb na shark.
/pmt/<login> com 1 Gb na Jaguar.
Onde <login> é o código pessoal de acesso as máquinas. O diretório /home/login é a área
reservada para armazenamento permanente de arquivos do usuário. O diretório /scr/<login>
deve ser utilizado somente para armazenamento temporário de arquivos.
Voltar para Início
- Como é o procedimento de backup e "limpeza" de arquivos antigos dos discos do LCCA?
O LCCA não impõe um procedimento de "limpeza" de arquivos antigos. Quando o espaço ocupado alcança cerca de 95%, o CCE entra em contato com os
usuários com mais espaço utilizado e solicita a limpeza. A prática tem mostrado que os usuários são bastante conscientes e que sempre que o espaço
em disco se torna crítico a situação se resolve com relativa rapidez. Como não é feita cópia de segurança dos diretórios /scr, o usuário é responsável
pela cópia de seus dados e eventual recuperação em caso de perda dos mesmos. O diretório /home da Shark e /pmt da PUMA são salvos semanalmente
pelo CCE. Apesar disto, sugerimos que os usuários também façam cópias de segurança por motivos óbvios através da SHARK via sftp ou scp.
Voltar para Início
- Como posso executar processos que precisam de mais espaço em disco que o disponível para o meu código?
Não é permitido utilizar mais espaço em disco além do disponível para o seu código.
Você deve solicitar uma quota maior de disco.
Voltar para Início
- Qual a área de swap de memória e de disco de cada máquina do LCCA?
Para saber a capacidade em disco execute o comando "df -P
-k". Na alcatéia execute o comando "top".
Voltar para Início
- Como saber quanta memória um programa necessita para rodar?
Rode o comando:
size <executável>
,substituindo <executável> pelo nome do seu programa executável.
Voltar para Início
- Como posso saber quais são os programas rodando em cada máquina?
Execute o comando "qstat -a".
Voltar para Início
- Por que alguns aplicativos não executam e apresentam a mensagem "can't open display"?
Os aplicativos que trabalham em "janelas" enviam a saída (de vídeo) para a máquina indicada pela variável DISPLAY. Sempre que você executar algum aplicativo
em uma máquina remota, pode ser necessário configurar a variável de ambiente DISPLAY com o nome da máquina em que você está trabalhando. Por exemplo, se você
estiver trabalhando na máquina GULL e executando um aplicativo na máquina MACAW. Na máquina gull você deve executar:
setenv DISPLAY MACAW : 0.0
,onde o nome-da-máquina deve ser fornecido completo-por exemplo, macaw.usp.br para a máquina GULL. Na máquina em que vocé estiver trabalhando (no caso, a GULL)
você deve executar o comando:
xhost [nome_da_máquina_em_que_você_está]
,para permitir que os aplicativos remotos tenham acesso ao display. No exemplo anterior, na sua máquina você deve usar xhost gull.
Voltar para Início
- O que significa a mensagem "No space left on device" apresentada pelo sistema?
Esta mensagem é causada por falta de espaço em disco no sistema. Verifique com o comando "df -k" a área disponível no disco onde seu
programa está gravando dados.
Voltar para Início
- Existem arquivos que são mostrados pelo comando ls mas não são vistos por nenhum outro. Como posso acessá-los?
Algumas vezes um processo pode gerar um arquivo cujo nome contenha caracteres especiais, que não são letras, números ou
outros símbolos "imprimíveis". Use o comando:
ls -l | cat -v
para visualizar os caracteres especiais que possam existir nos nomes dos arquivos. A opção -v do comando cat força sua
apresentação como sequências de teclas-por exemplo, CTRL+A (^A), CTRL+B (^B) etc.
Voltar para Início
- Para que serve o arquivo "core" que é gerado por alguns de meus processos?
Este arquivo contém informações que permitem fazer análise do processo executado. Em alguns compiladores, a opção -g é que faz com que a execução do programa gere este
arquivo, que pode ser manipulado pelo programa adb no Dolphin e gdb na PUMA.
Voltar para Início
- Como posso compilar um programa?
Verifique na tabela abaixo o comando correspondente:
| Máquina |
Fortran 77 |
Fortran 90 |
C |
C++ |
|---|
| PUMA e Jaguar |
g77
ifort |
ifort |
cc
icc |
CC
icc |
Para informações completas sobre o comando xlf, por exemplo, execute:
"man ifort".
Para utilizar os compiladores da Intel na PUMA, coloque os comandos abaixo no arquivo /pmt/usuario/.bash_profile para configurar
o ambiente:
. /opt/intel/fc/9.0/bin/ifortvars.sh
. /opt/intel/cc/9.0/bin/iccvars.sh
. /opt/intel/mkl72cluster/tools/environment/mklvars32.sh
. /opt/intel/mpi/2.0/bin/mpivars.sh
Voltar para Início
- Como submeter processos no Gaussian?
PUMA
Exemplo de job para rodar em uma fila sequencial:
#!/bin/bash -v
#PBS -N gauss_job
#PBS -j oe
#PBS -l ncpus=1
#PBS -q short
g03root="/usr/local"
GAUSS_SCRDIR="/scr/usuario/gauss"
export g03root GAUSS_SCRDIR
. $g03root/g03/bsd/g03.profile
cd /scr/usuario/gauss
g03 test000.com
Exemplo de job para rodar o gaussian paralelo na alcatéia (submeter o job a partir do lobo29):
#!/bin/bash -v
#PBS -N gauss
#PBS -j oe
#PBS -l nodes=4:ppn=1
#PBS -q short_p
#PBS -e gauss.err
#PBS -o gauss.out
g03root="/usr/local"
GAUSS_SCRDIR="/scr/usuario/gauss"
PATH=$PATH:"/usr/local/g03/linda7.1/intel-linux2.4/bin:/usr/local/g03/bsd"
cat $PBS_NODEFILE > /scr/usuario/gauss/tsnet.nodes
export g03root GAUSS_SCRDIR PATH
. $g03root/g03/bsd/g03.profile
cd /scr/usuario/gauss
g03l CLX_CHN.com
Jaguar
Exemplo de job para executar o programa Gaussian usando as filas comuns:
#!/bin/bash
#PBS -N job_teste
#PBS -l nodes = 1:ppn = 1
#PBS -q long
#PBS -e job.err
#PBS -o job.out
g03root = "/opt"
GAUSS_SCRDIR = "/scratch/usuario"
export g03root GAUSS_SCRDIR
. $g03root/g03/bsd/g03.profile
cd /scratch/usuario
g03 arquivo.com
Voltar para Início
- Como posso obter uma conta no LCCA?
Para obter informações sobre abertura de contas no LCCA, consulte o formulário de abertura de contas em
http://www.usp.br/lcca/cad.html.
Voltar para Início
- Mais de uma pessoa pode utilizar uma conta do LCCA?
Se os recursos do sistema serão utilizados por mais de uma pessoa, é importante que
cada pessoa possua sua conta individual, devido a problemas organizacionais e,
principalmente, de segurança. Portanto, cada pessoa que pretende usar o ambiente deve
enviar um formulário com seus dados pessoais.
Voltar para Início
- Como posso saber se minha solicitação de abertura de conta foi atendida?
Se você indicar no formulário uma conta já sua em qualquer máquina da Internet, você
receberá um e-mail informando a abertura da sua nova conta. Caso contrário será feito
contato telefônico com o coordenador do projeto assim que a conta estiver disponível.
Geralmente isto ocorre até dois dias após o recebimendo da solicitação.
Voltar para Início
- Como posso trocar a shell default para minha conta?
Você pode alterar a shell usando o comando chsh, que apresenta as opções disponíveis no
ambiente para shell. Digite "chsh" e o sistema pergunta se você deseja modificar a
shell e qual você deseja passar a usar.
Voltar para Início
- Como obter informações sobre os comandos do sistema operacional?
Se você conhece alguns comandos mas não sabe como utilizá-los, basta executar o help do
sistema, que é o comando "man". Por exemplo: se você tem dúvida no comando "ls" (lista o
conteúdo de um diretório), execute "man ls".
Voltar para Início
- Por que às vezes não enxergo meu diretório /scr?
Os discos /scr são montados via NFS. Quando há algum problema de rede (ou quebra na comunicação entre as máquinas) pode acontecer
que temporariamente você não tenha acesso aos seus discos /scr. A Shark não tem acesso direto aos diretórios /scr. Você tem que se logar na máquina
correspondente, para ter acesso. Por exemplo, para acessar o /scr da PUMA, primeiro se logue na PUMA.
Voltar para Início
- Como posso acessar as máquinas do LCCA a partir de uma máquina externa?
Acesse a shark.lcca.usp.br via ssh e posteriormente as outras máquinas do LCCA.
Voltar para Início
- Como posso acessar o LCCA de minha casa (acesso doméstico)?
Para acessar as máquinas do LCCA, usando o serviço de acesso residencial, ou de qualquer outro provedor de acesso, o usuário deverá executar o comando "ssh shark.lcca.usp.br " e depois se conectar com as outras máquinas do LCCA.
Voltar para Início
- Como faço transferência de arquivos utilizando o LCCA de minha residência?
As transferências de arquivo devem ser feitas via sftp ou scp para a máquina shark.lcca.usp.br.
Voltar para Início
- Como eu faço para utilizar as rotinas LAPACK e BLAS da intel?
Inclua no Makefile algo parecido com as opções abaixo de acordo com a versao instalada:
LAPACK: -L/opt/intel/mkl721/lib/32 -lmkl_lapack -lmkl_ia32 -lguide -lpthread
BLAS: -L/opt/intel/mkl721/lib/32 -lmkl_ia32 -lguide -lpthread -lm
Voltar para Início
- O que fazer caso eu esqueça minha password?
Entre em contato com o LCCA, pelo telefone (0**11) 3091-6353 ou por e-mail para lcca@usp.br, informando que você deseja alterar a password.
Voltar para Início
- Recebi um mail dizendo que minha password foi descoberta. O que isto significa?
Como parte da rotina do LCCA, executamos periodicamente o programa cracker, que
procura identificar senhas de usuários. Quando o cracker descobre a senha de algum
usuário, enviamos um e-mail informando o ocorrido, solicitando a troca da senha (já
que a senha atual pode ser descoberta por qualquer um que utilize o cracker).
Voltar para Início
- Ao executar um sftp de um arquivo texto do micro para a shark o arquivo
ficou com um ^M no final de todas as linhas. Como eu retiro estes ^M?
Entre no editor de textos vi e execute:
<esc>:s/<ctrl>V<ctrl>M//g,
onde <esc> e <ctrl> são as teclas ESCAPE e CONTROL do teclado.
Voltar para Início
|
|
