2023.1 Series Release Notes¶
17.0.0¶
Note di aggiornamento¶
Python 3.6 & 3.7 support has been dropped. The minimum version of Python now supported is Python 3.8.
16.0.0.0rc1¶
Nuove funzionalità¶
Now healthcheck middleware is enabled by default. Applications like loadbalancer or monitoring tools can use
/healthcheckpath to monitor health of each API endpoints. Remove entries for healthcheck fromapi-paste.inito disable this functionality.
15.0.0¶
Note di aggiornamento¶
The default value of
[oslo_policy] policy_fileconfig option has been changed frompolicy.jsontopolicy.yaml. Operators who are utilizing customized or previously generated static policy JSON files (which are not needed by default), should generate new policy files or convert them in YAML format. Use the oslopolicy-convert-json-to-yaml tool to convert a JSON to YAML formatted policy file in backward compatible way.
Note relative alle deprecazioni¶
Use of JSON policy files was deprecated by the
oslo.policylibrary during the Victoria development cycle. As a result, this deprecation is being noted in the Xena cycle with an anticipated future removal of support byoslo.policy. As such operators will need to convert to YAML policy files. Please see the upgrade notes for details on migration of any custom policy files.
12.0.0.0rc1¶
Note di aggiornamento¶
Python 2.7 support has been dropped. Last release of sahara to support python 2.7 is OpenStack Train. The minimum version of Python now supported by sahara is Python 3.6.
10.0.0¶
Preludio¶
Aggiunto il nuovo strumento sahara-status upgrade check.
L’APIv2 di Sahara è ora considerata stabile e non più sperimentale.
Nuove funzionalità¶
È stata aggiunta una nuova infrastruttura per supportare il comando
sahara-status upgrade check. Questa infrastruttura permette l’aggiunta di vari controlli che possono essere eseguiti prima di un aggiornamento di Sahara per assicurarsi che l’aggiornamento possa essere eseguito in sicurezza.
Aggiunta la capacità di cambiare il parametro predefinito di timeout per l’installazione del pacchetto dell’agente Ambari
Gli utenti dell’APIv2 di Sahara possono richiedere una specifica microversione dell’API tramite «OpenStack-API-Version: data-processing [versione]» nelle intestazioni della richiesta.
In Sahara APIv2, the type, availability zone, and locality of boot volumes may be expressed explicitly through the boot_volume_type, boot_volume_availability_zone, and boot_volume_local_to_instance parameters.
In an effort to improve Sahara’s usuability and manutenability we are splitting the plugins from Sahara core into their own repositories.
Note di aggiornamento¶
Gli operatori possono usare il nuovo strumento a riga di comando
sahara-status upgrade checkper verificare che l’intallazione di Sahara può essere aggiornata in sicurezza dalla versione N-1 alla N.
The default proxy role for Swift is now member instead of Member. Keystone now creates the former by default, even if the latter is recognized to be the same (case preserving).
Correzione di bug¶
With APIv2 we detected some inconsistencies on the policies. This patch updates the policy to fix those incosistencies.
The command hdfs fs has been deprecated in favor of hdfs fs. This fixes will allow the use of Hbase service.
This fixes the issue with NTP configuration where a prefered server provided by the user is added to the end of the file and the defaults are not deleted. Here we add the prefered server to the top of the file.
Altre note¶
As part of the APIv2 work we changed all tenant_id references to project_id on the return payload of REST calls.
All APIv2 policy names have been changed to the recommended format: specifically, changes to resource names (now _singular_, whereas previously they may have been _plural_, or otherwise inconsistent), action verbs (now fully independent of HTTP semantics) and overall formatting (hyphens replace underscores). Eventually, the remaining non-conforming policy names will be deprecated too.
Some polishings to APIv2 have been made in an effort to bring it from experimental (and therefore, evolving and unpredictable) to stable. More instances of tenant_id have been changed to project_id, in the cluster and job template APIs. job_id was changed to job_template_id in the job API. The newly-minted query string validation feature has been fixed to allow show_progress as a parameter on cluster GET; on a similar note some APIv2 endpoints which previously could be filtered by hadoop_version are now filtered by plugin_version instead. Also, the schema for cluster PATCH in APIv1.1 now no longer includes the key update_keypair; its prior inclusion was a mistake.
In APIv2 there is now strict checking of parameters in the query string. This means that unexpected values in the query string will give a 400 error (as opposed to previously being ignored, or causing a 500 error).
9.0.0.0rc1¶
Altre note¶
L’URL di una fonte dati S3 può contenere s3:// o s3a://; sono equivalenti.
9.0.0.0b3¶
Preludio¶
Sahara APIv2 is reaching a point of maturity. Therefore, new deployments should include an unversioned endpoint in the service catalog for the «data-processing» service, for the purposes of more intuitive version discovery. Eventually existing deployments should switch to an unversioned endpoint, too, but only after time is given for the use of older clients to be less likely.
Every new release of Sahara we update our plugins list. Some new versions are added and some removed and other marked as deprecated. For Rocky we are deprecating CDH 5.7.0, Spark 1.6.0 and 2.1 as well as Storm 1.0.1. We are also removing CDH 5.5.0, MapR 5.1.0, Spark 1.3.1 and Storm 0.9.2.
Nuove funzionalità¶
Aggiunta a sahara-image-pack la capacità di creare immagini Ambari 2.6
Aggiunta la capacità di effettuare il boot di un cluster Sahara da volumi invece che da immagini.
Aggiunto il supporto per CDH 5.13.0 nel plugin CDH.
APIv2, la versione sperimentale delle API, supporta la creazione simultanea di più cluster esclusivamente tramite POST /v2/clusters (usando il parametro count). L’endpoint POST /v2/clusters/multiple endpoint è stato rimosso.
Operators can now update the running configuration of Sahara processes by sending the parent process a «HUP» signal. Note: The configuration option must support mutation.
Il comportamento della rimozione forzata dei cluster (APIv2) è cambiato. La funzione di abbandono dei cluster non è più usata. La risposta alla chiamata dell’API force-delete adesso include il nome dello stack che era alla base del cluster eliminato.
Use a new keypair to access to the running cluster when the cluster’s keypair is deleted.
Una fonte dati EDP può fare riferimento ad un file memorizzato in un gestore di oggetti con interfaccia S3.
Note di aggiornamento¶
Aggiunto Spark 2.3 all’elenco dei plugin supportati.
Aggiunte nuove versioni di Storm, 1.2.0 e 1.2.1. Entrambe sono disponibili tramite lo stesso tag 1.2.
Abbiamo rimosso alcune versioni di plugin. Si tratta di CDH 5.5.0, MapR 5.1.0, Spark 1.3.1 e Storm 0.9.2.
Note relative alle deprecazioni¶
The sahara-all entry point is now deprecated. Please use the sahara-api and sahara-engine entry points instead.
We are deprecating CDH 5.7.0, Spark 1.6.0 and 2.1 and Storm 1.0.1.
Correzione di bug¶
Hadoop is now better configured to use the proper Keystone domain for interaction with Swift; previously the “default” domain may have been incorrectly used.
Altre note¶
Alcune risposte delle APIv2 - sperimentali, ma quasi stabili - sono state rifinite. In particolare la chiave hadoop_version è stata sostituita da plugin_version, la chiave job è stata sostituita da job_template, la chiave job_execution è stata sostituita da job, e la chiave oozie_job_id è stata sostituita da engine_job_ide. In effetti questi cambiamenti erano già stati tutti parzialmente implementati, ed ora lo sono totalmente.
9.0.0.0b2¶
Nuove funzionalità¶
Supporto per la creazione di cluster con hadoop 2.7.5 nel plugin vanilla
9.0.0.0b1¶
Nuove funzionalità¶
Implemented support of HDP 2.6 in the Ambari plugin.
Problemi noti¶
Remove the step «upload httpclient to oozie/sharelib» in sahara code. User should use latest vanilla-2.8.2 image which is built on SIE «Change-ID: I3a25ee8c282849911089adf6c3593b1bb50fd067».
8.0.0¶
Nuove funzionalità¶
Permette la creazione e la validazione di immagini Ambari 2.4 usando il nuovo processo di generazione delle immagini in cui libguestfs sostituisce l’uso di DIB.
Sahara’s APIv2 is now exposed by default (although its state is still experimental). It has feature parity with Sahara’s APIv1.1, but APIv2 brings better REST semantics, tweaks to some response payloads, and some other improvements. APIv2 will remain labeled experimental until it is stabilized following the addition of new features to it in the coming cycle(s).
Permette la creazione e la validazione di immagini CDH 5.11.0 usando il nuovo processo di generazione delle immagini in cui libguestfs sostituisce l’uso di DIB.
Permette la creazione e la validazione di immagini CDH 5.9.0 usando il nuovo processo di generazione delle immagini in cui libguestfs sostituisce l’uso di DIB.
La possibilità di eliminare forzatamente i cluster è stata resa disponibile nell’APIv2 di Sahara. Il servizio Heat deve supportare la funzione di abbandono dello stack (Stack Abandon) affinché la rimozione forzata funzioni correttamente.
Aggiunta la capacità di creare e validare immagini MapR 5.2.0 usando il nuovo strumento di generazione delle immagini.
This feature allows the policy enforcement to be done in code thus facilitating better maintenance of the policy file. In code the default policies are set and the operator only needs to change the policy file if they wish to override the rule or role for a specific policy or operation. Also, a complete policy file can be generated using genconfig tool.
Aggiunto Spark versione 2.2 a Sahara.
An EDP job binary may reference a file stored in a S3-like object store.
Supporto per la creazione di cluster con hadoop 2.8.2 nel plugin vanilla
Note di aggiornamento¶
Nova network has been fully removed from the OpenStack codebase, remove all instances of switches on use_neutron and the configuration value.
I file di configurazione di Sahara installati in precedenza in share/sahara saranno installati invece in etc/sahara.
Note relative alle deprecazioni¶
The use of [keystone_authtoken] credentials for trust creation is now deprecated. Please use the new [trustee] config section. The options
username,password,project_name,user_domain_name,project_domain_name, andauth_url(with version) are obligatory within that section.
Altre note¶
La presenza dell’ID del progetto nei percorsi della APIv1 di Sahara è ora opzionale.
7.0.0.0rc1¶
Note relative alle deprecazioni¶
La versione 1.3.1 di Spark è deprecata.
The custom admin_user_domain_name and admin_project_domain_name configuration options have been removed; they are provided by keystone_authtoken as user_domain_name and project_domain_name respectively.
Altre note¶
We are assuring that ironic support was tested after latest updates to nova and sahara and it is fully functional.
7.0.0.0b3¶
Nuove funzionalità¶
CDH 5.11.0 è supportato nel plugin CDH.
Permette la creazione e la validazione di immagini CDH 5.7.0 usando il nuovo processo di generazione delle immagini in cui libguestfs sostituisce l’uso di DIB.
7.0.0.0b2¶
Nuove funzionalità¶
Storm 1.1.0 è supportato dal plugin Storm.
Problemi noti¶
Ironic integration might be broken if floating IPs are used, due to the use of pre-created ports by the Sahara engine. The status of Ironic support was untested for this release.
Note relative alle deprecazioni¶
Storm version 0.9.2 is deprecated.
Il supporto a nova-network è stato rimosso a seguito della sua rimozione da nova stesso e da python-novaclient. use_neutron=False non è più supportato.
7.0.0.0b1¶
Nuove funzionalità¶
Version 5.5.0 of Cloudera plugin is deprecated.
Le versioni 5.0.0, 5.3.0 e 5.4.0 del plugin Cloudera sono state rimosse.
6.0.0¶
Nuove funzionalità¶
Aggiunto Kafka al plugin MapR
I repository MapR possono essere configurati nella sezione generale della configurazione dei template di cluster.
CDH 5.9.0 è supportato nel plugin CDH.
Implemented support of HDP 2.5 in the Ambari plugin.
Sono stati aggiunte le seguenti versioni di servizi al plugin MapR 5.2.0 - Pig 0.16 - Spark 2.0.1 - Hue 3.10 - Drill 1.8, 1.9
Note di aggiornamento¶
Neutron viene ora usato in modo predefinito (use_neutron=True). Nova-network non funziona per la maggior parte dei casi d’uso a partire da Ocata.
Note relative alle deprecazioni¶
MapR 5.1.0.mrv2 is now deprecated and will be removed in Ocata release. It is recommended to use MapR 5.2.0.mrv2 instead.
Rimosso il supporto per il plugin MapR 5.0.0.
The “enable” option of the “oslo_messaging_notifications” section has been removed. To enable notifications now please specify the “driver” option in the same section.
5.0.0.0rc1¶
Nuove funzionalità¶
MapR 5.2.0 è supportato nel plugin MapR
Aggiunto Sentry al plugin MapR
Aggiunto il registro degli eventi per il plugin HDP
Kerberos support implemented for Cloudera and Ambari plugins. New oozie client implemented to support authentication for oozie in kerberized cluster.
Il controllo personalizzato dello stato di salute è stato aggiunto al plugin MapR
Sono stati aggiunte le seguenti versioni di servizi al plugin MapR 5.2.0 - HBase 1.1 - Drill 1.6 - Mahout 0.11 0.12 - Spark 1.6.1 - Impala 2.5
Aggiunta la funzionalità di conoscenza del rack per CDH 5.5 e CDH 5.7
Aggiunta la funzionalità di conoscenza del rack per il plugin HDP
5.0.0.0b3¶
Nuove funzionalità¶
Kafka è stato aggiunto a CDH 5.5 e CDH 5.7
Add ability to automatically generate better configurations for Ambari cluster by using “ALWAYS_APPLY” strategy
Le versioni 5.5.0 e 5.7.0 del plugin Cloudera sono state dichiarate stabili.
CDH 5.7 è supportato nel plugin CDH.
Aggiunta l’integrazione con Designate per la risoluzione dei nomi degli host tramite server DNS
MapR 5.1.0.mrv2 è ora abilitato.
Remove support for Spark standalone in MapR plugin
Refactoring the logic on how floating ips are used by Sahara. This change will allow the coexistence of cluster using floating ips with cluster that do not.
Note relative alle deprecazioni¶
Versions 5, 5.3.0, 5.4.0 of Cloudera plugin are deprecated. It is no longer maintainted and supposed to be removed in P release.
Option “infrastructure engine” is removed from sahara configs.
MapR 5.0.0.mrv2 is now Deprecated. It is not recommended for usage. It is better to use MapR 5.1.0.mrv2 instead. This version of plugin will be removed in Ocata release.
Correzione di bug¶
Fixed issues with hardcoded password during creation MySQL database for Oozie, bug 1541122.
Fixed issues with hardcoded password during starting hive process, bug 1498035.
5.0.0.0b2¶
Preludio¶
Documentation about distributed periodics are extended with steps about installation additional libs required for correct work of coordination backend. Please refer Advanced Configuration Guide for details.
Nuove funzionalità¶
Aggiunto Impala 2.2 al plugin MapR
Separate transport url can be used for notifications purposes now, to enable this feature “transport_url” should be provided in “oslo_messaging_notifications” section.
Note di aggiornamento¶
Migrazione da novaclient.v2.images a glanceclient
Note relative alle deprecazioni¶
La funzionalità di conversione in un modello di cluster non è più supportata da tutti i plugin.
È stato rimosso il supporto per il plugin HDP 2.0.6. Al suo posto va usato il plugin Ambari.
Correzione di bug¶
Corretta l’esecuzione di job Hive nel plugin Ambari.
L’avvio di cluster Ambari su CentOS 7 è stato corretto.
CA certificate handling in keystone, nova, neutron and cinder clients are fixed (#330635)
Dopo la dismissione di un host, tutti i gruppi di configurazione associati saranno rimossi dal plugin Ambari
Fix uncompleted event logs for Oozie and Drill in MapR plugin.
5.0.0.0b1¶
Note di aggiornamento¶
la migrazione da keystoneclient a keystoneauth è stata effettuata per usare le funzionalità di autenticazione di keystone.
Correzione di bug¶
Fixed incorrect down scaling of ambari cluster
Questa patch permette di usare swift usando l’API v3 di Keystone
Fixed issue with handling endpoint_type during creation neutron client, closed bug 1564805
