Pentaho Data Integration

Comentario por Victor el junio 24, 2009 a las 2:56pm

Hola a todos,
me asignaron un proyecto de migración de datos en el cual migrare archivos planos obtenidos desde cobol en (formato txt)a sybase 12.5.
Hice algunas pruebas y no creo tener problemas.
Mi pregunta es: cual es el limite de tamaño de archivos que PDI soporta?
Son aproximadamente 40 archivos planos pero tengo que hacer conversiones de tipos de datos y en estos archivos se guaradan 18 años de historia.
Aun n o tengo clara la estructura pero segun el cliente son 30 campos por tabla.
Algun consejo?


saludos

Comentario por Bernabeu R. Dario el junio 24, 2009 a las 3:04pm

Buen día Victor.
Cuántos registros tienen en promedio estas tablas?
Saludos.

Comentario por Victor el junio 24, 2009 a las 5:08pm

Estimado,
No tengo ese dato solo se que son 250 mil afiliados con 18 años de movimientos, la empresa es de Seguros.
Quisera saber que hardware pedir para PDI y si hay que hacer alguna configuración especial para que soporte este proceso?
Esto se hara una sola vez es una migración de datos.
Pero hay que convertir los tipos de datos de cobol a sybase obviamente, lo planifique en 2 cargas, la primera una copia de lo que actualmente tienen pero solo conviritiendo los tipos de datos como decimales, fechas, etc a su similar en Sybase, despues una segunda carga de sybase a sybase pero ya filtrando y creando las entidades.
La verdad no tengo la experiencia, asi que estoy documentandome.
Espero me apuedas aconsejar,
gracias por el apoyo.

saludos,

Comentario por Bernabeu R. Dario el junio 24, 2009 a las 5:59pm

Victor:
>> cual es el limite de tamaño de archivos que PDI soporta?
No sé, no me toco nunca este caso. Pero en caso de que sobrepases el límite puedes dividir la tabla de acuerda a algún parámetro o hacer vistas.

>> Quisera saber que hardware pedir para PDI
Lo que usualmente de recomienda para este tipo de procesamiento son 4 procesadores y al menos 4GB RAM. Aunque si lo vas a correr solo una vez, me imagino que no se justificará el gasto. Deberías hacer pequeñas pruebas, con un porcentaje de datos, para determinar cuanto tiempo te llevará hacer el pasaje completo.

>> hay que hacer alguna configuración especial para que soporte este proceso
En el archivo [data-integration-home]\Kettle.l4j.ini puedes configurar la cantidad de RAM que le asignarás a pdi.

Saludos.

Comentario por Victor el junio 24, 2009 a las 6:05pm

Muchas Gracias Dario,
solo una pregunta mas al realizar la configuración en el archivo ini, que tamaño de memoria me recomiendas usar, ya que tendre que mapear cada archivo y son gigantes segun se.

saludos,

Comentario por Bernabeu R. Dario el junio 24, 2009 a las 6:20pm

De nada Victor.
>> que tamaño de memoria me recomiendas usar
El tamaño que utilizarás será en función a la cantidad de RAM que tengas disponible en tu ordenador.

Comentario por Victor el junio 25, 2009 a las 10:31pm

Hola a todos,
Continuando con el tema de Migración de Datos, les escribo para contarles lo siguiente:
Tengo que validar cada columna del origen antes de mover la al destino, las validaciones son de tipo de dato, de rango, etc
Para ello estoy usando Data Validator y Modified Java Script Value.
El archivo origen tiene 5 columnas la primera un varchar de 10 y las 4 restantes numericas de 1.
En el varchar de 10 uso el "Modified Java Script Value" y en las 4 restantes "Data Validator" ya que aqui puedo abregar mas de una validación.
El problema que tengo es que al tener mas de 1 columna con error solo me indica el primer error y nos los demas.
Por ejemplo
12345K 1 ñ 1 0 g
El primer campo es un varchar(10) los 4 siguientes son Campos numericos, por lo cual claramente hay 2 errores, pero al realizar la transformación solo me indica el primer error y no el segundo, osea me indica el error de la "ñ" y no el de la "g", adjunto imagen.
Espero alguien me pueda aconsejar

gracias de antemano.

Comentario por juan carlos calabria sarmiento el junio 26, 2009 a las 12:33am

Mis queridos compañero quiero trabajar en Data Integration y necesito una herramienta para realizar cubos y luego los reportes.

Comentario por Bernabeu R. Dario el junio 26, 2009 a las 1:12am

Buenas.
>> Juan Carlos:
Para realizar cubos puedes utilizar mondrian schema workbench. Lo puedes descargar desde SourceForge, y aquí tienes un buen video tutorial de cómo realizar Cubos (pasos 5,6,7,8,9).
Para la creación de reportes puedes utilizar Report Designer. También te lo puedes descargar desde SourceForge.

>> Victor
Lo que puedes hacer es crear tantos Data Validator como campos numéricos tengas a evaluar.
La otra opción es crear un paso intermedio entre Data Validator y ASC_ERROR, para que el mismo detecte cuál es la causa de error.

Saludos.

Comentario por Victor el junio 26, 2009 a las 1:58am

Gracias Dario por la pronta respuesta.
Me quedaron dudas de tu respuesta, cuando dices "tantos Data Validator como campos numéricos tengas a evaluar", te refieres a uno despues de otro?
Y "paso intermedio entre Data Validator y ASC_ERROR" no entiendo a que te refieres, si es un tipo de paso o una propiedad.
gracias de antemano.

saludos.

Comentar

• ‹ Anterior
• 1
• 2
• 3
• …
• 11
• Siguiente ›
• Página