miércoles, 19 de septiembre de 2012

Proyecto actual: Cluster 'Yummi'

Yo! Soy yo de nuevo, el autoproclamado programador (un poco) demente, Rozen.

En esta ocasion vengo a presentarles mi pequeño proyecto actual, al cual he llamado Yummi.
Como ya la había presentado anteriormente en Google+, seré un poco perezoso y haré un poco de copy-paste.

Señoras y señores, les presento a mi proyectito de cluster. #NotitasDeUnInformaticoLoco  
Yummi, en todo su esplendor
Codename: Yummi
Objetivo principal: Ayudar en la conversión de una enorme cantidad de archivos de música (unos 70GB por lo menos)
Objetivo secundario: ¿La dominación del mundo informatico? --tal vez termine solo como sujeto de pruebas random xD

Historia:
Este proyecto nace de la necesidad de acelerar el proceso tedioso de convertir una biblioteca musical a un formato un poco mas compatible con todos mis cacharros multimedia, esto es, MP3, un formato con perdida que a pesar de que prefiero mil veces OGG Vorbis (que ademas es OpenSource), tiene la ventaja en compatibilidad.
Yummi, deriva de la pronunciación japonesa de la primera sílaba que compone el nombre de Junerin, PC de escritorio a la derecha, debajo de la GameCube, y la primera letra repetida mas la primera sílaba del nombre MInAMI, que pertenece a la netbook de trabajo universitario mostrada en primer plano, las cuales son las primeras unidades en funcionamiento.

Especificaciones:
Junerin: Una ya un poco antigua Pentium Dual-Core @ 2.5GHz con 4GB de RAM. Utilizada para las tareas mas pesadas, y sujeto de pruebas para todos mis proyectos de software/hacking/etc. Utiliza ArchLinux como SO.
MInAMI: Una netbook como la gran mayoría, con un Atom @ 1.6GHz y 1 triste GB de RAM (xD). Utiliza ArchLinux también como SO.
PC-X A la izquierda: Aún sin nombrar ni agregar al cluster, contiene unos pésimos 256MB de RAM y un procesador de 1GHz, para mi asombro. Está en blanco y esperando inicialización.
PC-Y A la izquierda en cajeta debajo de PC-X: Igual que PC-X, solo que con unos 32MB de RAM y 800MHz de Procesador, no sé si ayudará o ralentizará al cluster (lol). Igual está en blanco y en espera de ser inicializada.
PC de hermano-san: (no se muestra en la imagen) Ejecuta Windows XP, pero pienso hacerle Dual-Boot para que pueda agregarlo al cluster. Tiene 512MB de RAM y un Intel Pentium D @ 2.5GHz.

Y bien, aquí está, luego de pelear con distintos CRMs (¡TORQUE te odio!), terminé instalando (no si antes tener que rastrear un parche por que si no, no compilaba) el SLURM (https://computing.llnl.gov/linux/slurm/) y configurando, configurando, al fin he dado con la configuración óptima.
Ahora la siguiente etapa es la configuración de los otros nodos y la adaptación de los scripts que utilizo.
Ha llegado la hora de poner a prueba (sólo un poco) los conocimientos que he obtenido a través de los años (oh, sí, hace décadas #PunIntended  ) sobre programación y redes (agradezco a cisco por enseñarme a cómo programar sus routers, por cierto, no tengo uno, pero la idea era enseñarme los conceptos, ¿no? xD), y lo tanto que he aprendido en la Universidad *cough-nada-cough-niet-cough-nothing-* así que ahí vamos.
Solo espero que esta bestialidad no aumente el recibo de luz, mas de lo que ya está 89 palos union fenosa? are you fucking kidding me?

#ToBeContinued  ...

Mientras tanto, en una subsiguiente publicación:

La (antigua) portátil de mi madre
Continuando con mis aventuras en #NotitasDeUnInformaticoLoco  , he recordado que tenia una portatil tirada, la abuelita que ven en la imagen, que ya no le funciona el teclado (ciertas teclas, pero no es utilzable), y los puertos USB ya no aguantan que ni siquiera les conecte un teclado =/
Aparte de eso, tiene un Intel Celeron @ 2.4GHz y 512MB de RAM, los cuales a duras penas empuja el windows XP y cojeando levanta en escritorio XFCE pero viene perfecto como servidor para mi proyecto Yummi.
Al inicio se mostraba reacia a actualizar sus paquetes, dado que #ArchLinux  había hecho un despelote con el paquete 'filesystem' y la música la ponía el paquete 'glibc' feat. el directorio /lib, proceso que me costo un poco, ya que esta portátil no la enciendo desde hace 4 meses xD
Una vez resueltos los trepaquesube que se me fueron formando patrocinado por el equipo de devs de Arch, saltaba otro pequeño pero importante problema: No quería conectarse al Nodo Maestro, horas después me doy cuenta que NTP no estaba instalado y la fecha de la misma estaba desfasada en -4h.
Al final, ya esta funcionando, ahora solo me falta hacer las pruebas impertinentes pertinentes :D

EDIT: La prueba ha finalizado y le he sacado 9x en la velocidad de conversión, aun esta astronómicamente lejos de los 29x que alcanza el Nodo Maestro, pero algo es algo y sigue siendo mayor que los 4x de MInAMI, supositoriamente mas nueva que esta xD
Ah sí, ¿que cómo demonios he logrado configurarla sin un teclado funcional? ¡pues eso es la magia del SSH, amigos! xD

#ToBeContinued  ...

Y así, llegamos al día de hoy donde finalmente he sorteado ciertos obstáculos que explicaré en breve, y por lo cual he iniciado esta publicación.

¿Qué es lo que más me ha tomado tiempo al configurar este clúster?
Aunque no lo crean, algo tan sencillo como una UID incorrecta. Sí, señores, una UID me tenía a punto de arrancarme los pelos (y ya saben que las personas con bata de laboratorio no encajan muy bien con el hecho de ser calvos, muchas series animé comprueban esto!), y al cabo de unos días, finalmente he dado con la solución a este problema, que me impedía usar el último nodo que habia agregado, el cual me escupía en la cara errores sobre procesos con credenciales inválidas por doquier.

Bueno, hoy me he decidido a inicializar al menos uno de las otras 2 CPU que tenía haciendo polvo en mi laboratorio (sí, es mi cuarto) y esto es lo que ha salido:

Scumbag HDD / Scumbag RAM
¡Y U NO funcionan como deben!



¡Vaya, pero qué tenemos aquí!


¡Funciona!... O eso creí

Pues sí, resulta que tenía Windows 98 de serie. ¡Y no era la Second Edition!

Al fin, poniéndonos serios e instalando un SO que valga la pena para un cluster.

En resumen, una RAM defectuosa (¿qué raro, verdad?) me impedía el arranque de este nodo, ahora tengo un nodo con sólo 128MB de SDRAM PC133... al menos.
El disco duro que tuve que reemplazar era uno de 40GB, otro más para la caja de discos duros fritos, lo fué por uno un poco más... modesto.
Con 4.7GB de disco duro, ¿mejor hubiera instalado el sistema en NFS, verdad? ahh, pero qué rayos, así se queda, ahora no tengo mucho tiempo para trastear mucho pequeñeces como esa. con 2GB me sobra espacio para el trabajo que va a hacer.
Este señor de 4GB me traía un Windows 98 que por supuesto no arrancó (dado que Windows es muy sentimental para las arquitecturas sobre las que se ejecute), así que lo he reformateado y fin de la historia.
Oh sí, lo más importante, su nombre. Este nodo se llamará... Crystal. Ni idea de por qué le pongo nombres femeninos a las cosas, pero bueno, qué se le va a hacer.

Crystal en todo su esplendor funcionando


Y así, termino de contarles mi aventura del día de hoy con este proyecto que les he mostrado.

EL. PSY. CONGROO.

No hay comentarios:

Publicar un comentario