Open Business Intelligence

La red del Business Intelligence

Daniel Diaz Canel
  • Hombre
  • Buenos Aires
  • Argentina
Compartir en Facebook Compartir

Grupos de Daniel Diaz Canel

Discusiones de Daniel Diaz Canel

problema para publicar el cubo
4 contestaciones 

He creado el Cubo con scheme-workbech, pero cuando por fin logro publicarlo en Pentaho biserver me da este error me pueden ayudar? adjunto schema y logsGraciasContinuar

Inició esta discusión. Última respuesta de Daniel Diaz Canel 14 Feb 2014.

Regalos recibidos

Regalo

Daniel Diaz Canel aún no ha recibido ningún regalo

Enviar un regalo

 

Página de Daniel Diaz Canel

Última actividad

Daniel Diaz Canel ha agregado una discusión al grupo Pentaho Data Integration
Versión reducida

Resumen de job o transformation

Luego de que se ejecute un Job con varias transformaciones, quiero saber cuantos registros se insertaron, cuantos se rechazaron y cuantos se actualizaron. Luego quiero enviar un mail con estos datos. alguna sugerencia al respecto?Ver más
4 Sep 2017
Mariano García Mattío ha respondido a la discusión Procesar 20 millones de registros de Daniel Diaz Canel en el grupo Pentaho Data Integration
"Prácticamente no conozco ese motor, no puedo decirme mucho al respecto"
15 Ago 2017
Daniel Diaz Canel ha respondido a la discusión Procesar 20 millones de registros de Daniel Diaz Canel en el grupo Pentaho Data Integration
"Hola Mariano, gracias por tu respuesta, uso MS SQL, pq al final lo que hago es llenar tablas, sobre las cuales se ejecuta una logica de programacion para ofrecer reportes."
15 Ago 2017
Mariano García Mattío ha respondido a la discusión Procesar 20 millones de registros de Daniel Diaz Canel en el grupo Pentaho Data Integration
"Daniel, tu tabla temporal debería carecer de indices y cualquier control de integridad, por un lado, por otro lado deberías pensar en seleccionar un tipo de storage engine que mejore la respuesta para este tipo de transacciones, por…"
15 Ago 2017
Mariano García Mattío ha respondido a la discusión Procesar 20 millones de registros de Daniel Diaz Canel en el grupo Pentaho Data Integration
"Que sistema de gestión de bases de datos tienes?"
15 Ago 2017
Daniel Diaz Canel ha agregado una discusión al grupo Pentaho Data Integration
Versión reducida

Procesar 20 millones de registros

Estoy procesando 20 millones una vez el mes aproximadamente, lo que estoy haciendo ahora mismo es hacer una insercion directa en una Tabla temporal, partiendo de un fichero de texto. Inicialmente la velocidad comienza en 20.000 r/s, pero ba bajando. Luego de 2 horas ha insertado 5 millones ya la velocidad es de 600 aprox... Que puedo hacer para mantener la perfomance en 3000 mas menos?GraciasVer más
14 Ago 2017
Mariano García Mattío ha respondido a la discusión Mejorar la perfomance de Update de Daniel Diaz Canel en el grupo Pentaho Data Integration
"Usar técnicas de hashing, no queda mucho más, una forma es, matener una tabla intermedia que tenga el id (indexado) de la tabla final y el hash de la fila, buscas el id de la tabla final, comparas los hash y solo actualizas si hay…"
31 Jul 2017
Juan V. ha respondido a la discusión Mejorar la perfomance de Update de Daniel Diaz Canel en el grupo Pentaho Data Integration
"Si el volumen de registros a actualizar está muy identificado , por ejemplo por rango de fechas: fec1 < reg >= fec2. Una opción es obtener todos los registros q cumplan fec1 < reg >= fec2 pasarlos a un flujo de datos…"
31 Jul 2017
Daniel Diaz Canel ha respondido a la discusión Mejorar la perfomance de Update de Daniel Diaz Canel en el grupo Pentaho Data Integration
"Alguna sugerencia para mejorar entonces el step Update? Tengo las columnas de busqueda indexadas ya gracias"
31 Jul 2017
Mariano García Mattío ha respondido a la discusión Mejorar la perfomance de Update de Daniel Diaz Canel en el grupo Pentaho Data Integration
"Daniel, comprobar si hay diferencia o no implica buscar el registro si  o si, por ende de eso no te salvarás. Podrías implementar algún control basado en hash para detectar cambios, de cualquier forma te recomiendo indexar…"
31 Jul 2017
Daniel Diaz Canel ha agregado una discusión al grupo Pentaho Data Integration
Versión reducida

Mejorar la perfomance de Update

Proceso millones de registros una vez al mes, tengo que verificar si ya existen y los tengo que actualizar o si solo los inserto. En el primer caso, muchas veces ya existen pero con los datos anteriores sin cambios, por la logica que tengo diseñada deberia actualizarlos, pero hay alguna forma de comprar si hay algun cambio entre ambos registros y en ese caso actualizar? Es que me esta siendo muy costoso en terminos de perfomance. Cualquier otra solucion que se les ocurre sera bienvenidaGraciasVer más
31 Jul 2017
Mariano García Mattío ha respondido a la discusión Rendimiento en ETL de Daniel Diaz Canel en el grupo Pentaho Data Integration
"Estimado, dependiendo de lo que estás haciendo, deberías ver la posibilidad de paralelizar la ejecución en cluster. Saludos Mariano"
11 Jul 2017
Daniel pareja ha respondido a la discusión Rendimiento en ETL de Daniel Diaz Canel en el grupo Pentaho Data Integration
"Existen un par de tips para mejorar el rendimiento, dependiendo del motor de base de datos que utilices. Oracle: - Crear una tabla temporal en donde se cargan los datos directamente - En un job posterior realizar un insert + Append  desde la…"
11 Jul 2017
Daniel Diaz Canel ha agregado una discusión al grupo Pentaho Data Integration
Versión reducida

Rendimiento en ETL

Estoy procesando una gran cantidad de registros cerca de 50 millones y el rendimiento deja mucho que desear. Hice la transformación lo mas sencilla posible para no ocasionar cuellos de botella. alguna recomendación para mejor la performance.Gracias por adelantadoVer más
11 Jul 2017
manuel ha respondido a la discusión Enviar un correo desde Pentaho Bi Server de Daniel Diaz Canel en el grupo Pentaho
"Puedes crear un scheduler para que se ejecute cuando quieras y lo envié a una dirección o una lista de direcciones. O como bien dice Bernabeu R. Dario , mediante Spoon, crear una transformación y un job que lo ejecute. Saludos."
18 Ago 2016
Bernabeu R. Dario ha respondido a la discusión Crear un reporte en excel y enviarlo por mail de Daniel Diaz Canel en el grupo Pentaho Data Integration
"Buen día Daniel, cómo estás? Puedes adjuntar un pequeño ejemplo de tus datos de entrada? Saludos -- Ing. Bernabeu R. Darioweb | youtube | twitter"
17 Ago 2016

Información de perfil

Empresa
Trusted Translations
web, blog
dddd
Cual es tu interes en el BI Open Source?
aprender, aportar, hice mi tesis sobre el tema y quiero seguir en esta tecnologia

Comentarios

  • ¡No hay comentarios todavía!

Necesitas ser un miembro de Open Business Intelligence para añadir comentarios!

Participar en Open Business Intelligence

 
 
 

Distintivo

Cargando…

© 2018   Creado por Emilio.   Tecnología de

Emblemas  |  Reportar un problema  |  Términos de servicio