A Hortonworks anunciou a disponibilidade geral do HDP 2.6.3, Ambari 2.6.0 e SmartSense 1.4.3 e a primeira versão do Hortonworks DataPlane Service (DPS) que inclui a Visualização Técnica do Serviço de Data Lifecycle Manager (DLM) e disponibilidade técnica geral (DSS).

O HDP 2.6.3 é um grande lançamento para a Hortonworks, dado que é o primeiro lançamento que permite o Hortonworks DataPlane Service (DPS)!

Vamos falar sobre o HDP 2.6.3 primeiro.

HORTONWORKS DATA PLATFORM 2.6.3, AMBARI 2.6.0 E SMARTSENSE 1.4.3

Com esses lançamentos, alcançamos a disponibilização geral para Druid 0.10.1 e Spark 2.2 com suporte para Zeppelin & Livy, além de uma grande variedade de aprimoramentos em outros componentes (como Ranger, Knox e Atlas). Além disso, nos concentramos em estabilizar ainda mais os produtos introduzindo um número significativo de atualizações e aprimoramentos nos componentes.

Neste lançamento, fizemos grandes avanços no que diz respeito à Data Science. Isso inclui:

• Apache Spark 2.2 disponibilizado. Isso aumenta a estabilidade do Spark para transmissão estruturada.
•  Apache Zeppelin 0.7.3 disponibilizado. Isso fornece suporte para notebooks armazenados no HDFS e melhora a escalabilidade e o suporte a vários usuários.
• Apache Livy 0.4.0 disponibilizado. Esta versão suporta múltiplas linguagens de programação no mesmo contexto Spark.

Além disso, fizemos as seguintes atualizações:

• Druid 0.10.1 está disponível em avaliação técnica.
• O Apache Atlas 0.7.0 agora inclui pesquisa e filtragens visuais e mais amigáveis para usuários e suporte para o conector NiFi
• O Apache Knox 0.12.0 fornece suporte ao interface de usuário do Apache Atlas Admin através do Knox.
• O Apache Ranger 0.8.0 atribui automaticamente o papel ADMIN / KEYADMIN para usuários externos. E também:
• Define os Token de serviço do Knox para as APIs do Ranger.
• Usa atributos de valor e tags em condições de políticas do Ranger
• Configura a sincronia de usuários para LDAP / AD
• Suporta política do Hive> Permitir condições; Permissões, nova opção de administrador de serviço: criar uma política do Hive.
• Ambari 2.6.0 disponibilizado. Isso inclui:
• Suporte para HDP 2.6.3, incluindo Spark 2.2 e Druid
• Disponibilidade geral do Ambari Metrics System High Availability
• Arquivamento e expurgo de dados no Solr para a instância Ambari Infra Solr
• Aperfeiçoamento operacional geral e aprimoramentos de escalabilidade
• SmartSense 1.4.3 disponibilizado. Isso inclui:
• Suporte para a implementação da execução de Views do Ambari standalone.
• Melhorias de desempenho de anonimização
• Ajustes para os problemas de comunicação SSL do Servidor com a versão mais nova do Python.

A documentação completa você pode encontrar em docs.hortonworks.com

HORTONWORKS DPS, DLM e DSS (TP)

Desde que anunciamos o DPS há apenas um mês atrás, estamos entusiasmados em anunciar oficialmente o lançamento inaugural do DPS. Acreditamos que o DPS é fundamental para a Hortonworks, pois esta plataforma e os serviços associados irão ajudar as empresas a obter visibilidade sobre todos os seus dados em todos os seus ambientes, facilitando a manutenção de segurança e governança consistentes.

Esta versão DPS inclui:

Plataforma DPS – A base arquitetônica que ajuda a registrar múltiplos Data Lakes e gerencia serviços de dados através desses data lakes a partir de um único painel unificado.

DLM (GA) – Um serviço, habilitado através da Plataforma DPS, que você pode usar para replicar dados e fornecer recursos de recuperação de desastres empresariais usando políticas e trabalhos robustos.

DSS (TP) – Um serviço, habilitado através da Plataforma DPS, que lhe permite organizar, compreender, perfilar e governar sobre os dados corporativos.

Referência:

https://br.hortonworks.com/blog/hdp-2-6-3-dataplane-service/