Skip to topic | Skip to bottom
Home
ILC
ILC.DescargaDeMuestrasDeILCConGRIDr1.4 - 15 Sep 2009 - 11:33 - Main.iglesiastopic end

Start of topic | Skip to actions
Descarga de Samples de ILC con GRID

Información disponible en http://grid.desy.de//ilc En principio los requisitos necesarios para poder descargarse Samples con el GRID son:

  • 1- Tener un certificado GRID valido
  • 2- estar dado de alta como usuario en la organizacion virtual (VO) de ilc (https://grid-voms.desy.de:8443/vo/ilc/vomrs) o de la organizacion virtual de calice (https://grid-boms.desy.de:8443/voms/calice).
  • 3- Tener una maquina con Scientific Linux 4 (SL4)
  • 4- Tener acceso a una maquina con los lcg tools instaladas, o en su caso usar la instalacion AFS de DESY, para lo cual hay que tener instalado AFS en la maquina, para poder acceder al AFS de DESY

Si nuestra maquina cuenta con esas caracterisiticas:

1- Correr el Grid User Interface software localizado en AFS de DESY:

    . /afs/desy.de/project/glite/UI/etc/profile.d/grid-env.sh

2- Create a VOMS proxy for authentication and authorization with the Grid (example VO 'ilc'):

      voms-proxy-init -verify -debug -voms ilc

el cual me detecta de forma automatica mis certificados GRID guardados en mi maquina:

Detected Globus version: 22
Unspecified proxy version, settling on Globus version: 2
Number of bits in key :1024
Using configuration file /afs/desy.de/group/grid/www/html/etc/vomses/vomses
Using configuration file /afs/desy.de/project/glite/UI/GLITE-3.1.24-0/glite/etc/vomses
Files being used:
 CA certificate file: none
 Trusted certificates directory : /afs/desy.de/group/grid/www/html/etc/grid-security/certificates
 Proxy certificate file : /home/iglesias/k5-ca-proxy.pem
 User certificate file: /home/iglesias/.globus/usercert.pem
 User key file: /home/iglesias/.globus/userkey.pem
Output to /home/iglesias/k5-ca-proxy.pem
Y despues me pide introducer mi “GRID pass phrase” Una vez lo he introducido me dice:
Your identity: /DC=es/DC=irisgrid/O=cesga/CN=carmen-iglesias
verify OK
Using configuration file /afs/desy.de/group/grid/www/html/etc/vomses/vomses
Using configuration file /afs/desy.de/group/grid/www/html/etc/vomses/vomses
Using configuration file /afs/desy.de/project/glite/UI/GLITE-3.1.24-0/glite/etc/vomses
Using configuration file /afs/desy.de/project/glite/UI/GLITE-3.1.24-0/glite/etc/vomses
Using configuration file /afs/desy.de/group/grid/www/html/etc/vomses/vomses
Using configuration file /afs/desy.de/project/glite/UI/GLITE-3.1.24-0/glite/etc/vomses
Creating temporary proxy to /tmp/tmp_x509up_u1090_28300 ......++++++................++++++
 Done
Contacting  grid-voms.desy.de:15110 [/C=DE/O=GermanGrid/OU=DESY/CN=host/grid-voms.desy.de] "ilc" Done
Creating proxy to /home/iglesias/k5-ca-proxy.pem .........................++++++.......++++++
 Done
Your proxy is valid until Thu Jan 15 02:06:51 2009

3-Descarga de datasets : La página http://ilcsoft.desy.de/portal/data_samples/ contiene enlaces a los diferentes datasets generados, simulados y reconstruidos. Las páginas contienen el nombre lógico del fichero (LFN) que podrá descargarse via GRID:

lcg-cp -v --vo ilc lfn:/nombre/logico/que/hemos/encontrado/en/las/paginas nombre_local_del_fichero

En mi caso quiero bajarme, los ficheros de "full simulation" para ILD con trazas reconstruidas, por ejemplo:

lfn:/grid/ilc/mc-2008_2/reconstructed/ILD_00/Single_Particles_pre002/REC01-04_pre002_muon_Theta1-179_2GeV_ILD_00_LCP_SinglePar_0001.000.slcio 

Por lo tanto, pondre:

lcg-cp -v --vo ilc lfn:/grid/ilc/mc-2008_2/reconstructed/ILD_00/Single_Particles_pre002/REC01-04_pre002_muon_Theta1-179_2GeV_ILD_00_LCP_SinglePar_0001.000.slcio 
file:/tmp/samples/REC01-04_pre002_muon_Theta1-179_2GeV_ILD_00_LCP_SinglePar_0001.000.slcio

Donde indico la sample que me quiero bajar y en que directorio la quiero guardar (tmp/samples/), siguiendo el siguiente esquema:

usage: lcg-cp [-h,--help] [-c,--config config_file] [-n nbstreams] [-s,--sst src_spacetokendesc]
        [-S,--dst dest_spacetokendesc] [-D,--defaultsetype se|srmv1|srmv2]
        [-T,--srcsetype se|srmv1|srmv2] [-U,--dstsetype se|srmv1|srmv2] [-b,--nobdii]
        [-t timeout] [-v,--verbose]  [-V,--vo vo] [--version] src_file  dest_file

En nuestro caso, la maquina fpmac116, tiene SL5 en vez de SL4, lo cual me crea incompatibilidades entre los sistemas operativos (me da el siguiente error:

 lcg-cp: error while loading shared libraries: libldap-2.2.so.7: cannot open shared object file: No such file or directory

Por lo que para evitarlo tengo 2 opciones:

  • 1- conectarme a otra maquina del grupo, que tenga SL4, en concreto la maquina fpegaes1.
  • 2- si el archivo no es muy grande (la unica limitacion es mi quota en el CERN) bajarmelo al CERN y despues copiarmelo a Santiago.
Veamos que hay que hacer en cada una de las opciones:

1- Conexion a una maquina del grupo con SL4: fpegaes1

  • a- Esta maquina consta de SL4 pero no tiene AFS por lo que no podre ejecutar el comando:
            . /afs/desy.de/project/glite/UI/etc/profile.d/grid-env.sh

En su lugar, debo añadir estas líneas en mi ".bashrc", pues el problema esta en que estoy intentado usar el lfc de lhcb (que es el establecido por defecto en estas maquinas) y por supuesto no da acceso a los de ilc. Tendre que usar las siguientes variables de entorno:

export LCG_CATALOG_TYPE=lfc
export LCG_GFAL_INFOSYS=grid-bdii.desy.de:2170
Y asegurarme de que uso el "lcg-cp" de /opt/lcg/bin/lcg-cp
  • b- en fpegaes1 no necesitas ejecutar nada (ningún grid-env.sh o similar) antes de voms-proxy-init, por lo que hago el proxy:
  voms-proxy-init -verify -debug -voms ilc
  • c- y a continuacion descargo las samples:
 lcg-cp -v --vo ilc lfn:/grid/ilc/mc-2008_2/reconstructed/ILD_00/Single_Particles_pre002/REC01-04_pre002_muon_Theta1-179_2GeV_ILD_00_LCP_SinglePar_0001.000.slcio 
file:/tmp/samples/REC01-04_pre002_muon_Theta1-179_2GeV_ILD_00_LCP_SinglePar_0001.000.slcio

Se puede acceder al directorio de destino de fpmac116 directamente desde fpegaes1, no es necesario hacer una copia local en fpegaes1. Para ello, en la línea de comando de fpegaes1 pones como ruta para el fichero de destino lo siguiente:

file:/data/fpmac116_data2/ilcsoft/ilcinstall_prueba/ilcinstall/Samples/reconstructed_tracks/ttbar

2- Conexion al CERN

  • a- En primer lugar deberia copiarme a mi home del CERN los archivos que definen mi certificado GRID del CESGA, para lo cual me copio (de mi cuenta iglesias en fpsunae2) los archivos usercert.pem y userkey.pem dentro de un directorio .globus/ en mi home del CERN,/afs/cern.ch/user/m/miglesia, y ademas debo copiar k5-ca-proxy.pem en mi home del CERN.
  • b- si aplico el grid-env.sh de AFS de DESY me da error, pero si intento definir a mano las variables de entorno, no me lo entiende, y sigue intentando usar el lfc de lhcb (que es el establecido por defecto) en vez del de ilc. Info sacada de http://pps-public-wiki.egee.cesga.es/cgi-bin/moin.cgi/Using_the_AFS_UI_at_CERN
The root directory of the installation is structured so that you will find the following links
    /afs/cern.ch/project/gd/egee/glite/ui_PPS,
    /afs/cern.ch/project/gd/egee/glite/ui_PPS_old,
files to be sourced are bash: /afs/cern.ch/project/gd/egee/glite/ui_PPS/etc/profile.d/grid-env.sh Information about the AFS UI can be found at https://twiki.cern.ch/twiki/bin/view/LCG/AfsUiUserSetup

Pero me sigue dando error:

[lxplus242] ~ > voms-proxy-init -verify -debug -voms ilc
Detected Globus version: 22
Unspecified proxy version, settling on Globus version: 2
Number of bits in key :1024
Using configuration file /afs/cern.ch/user/m/miglesia/.glite/vomses
Using configuration file /afs/cern.ch/project/gd/egee/glite/ui_PPS_glite3.1_UPDATE42/glite/etc/vomses
Cannot find file or dir: /afs/cern.ch/user/m/miglesia/.glite/vomses
VOMS Server for  not known!

-- Main.iglesias - 02 Feb 2009
to top


You are here: ILC > DescargaDeMuestrasDeILCConGRID

to top

Copyright © 1999-2019 by the contributing authors. All material on this collaboration platform is the property of the contributing authors.
Ideas, requests, problems regarding this material Send feedback