设置Mlflow backend(源码)和假(Azure Blob储存)的商店

0

的问题

我想设置Mlflow为具有以下部分组成:

  • 后端存储(当地):使用源码数据库在本地储存Mlflow实体(run_id,params、指标...)
  • 神器储存(远程):使用blob储存在我的数据湖储2储存的输出的文件(版本数据集、化模型、图像...)有关我的模特
  • 跟踪服务器:通过使用一些东西看起来像这样的命令

z

mlflow server --backend-store-uri sqlite:///C:\sqlite\db\mlruns.db --default-artifact-root wasbs://container-name@storage_account_name.blob.core.windows.net/mlartifacts -h 0.0.0.0 -p 8000

在mlruns.db是一个数据库,我在创建源码(内部数据库文件夹)和mlartifacts是我的文件夹里面创建blob容器中收到的所有输出文件。

我运行这个命令然后我和mlflow运行(或者凯德罗运行作为我使用的是凯德罗),但几乎没有发生。 该数据库是填充有12个表,但是所有空的话,什么也没有发生内部数据湖。

我想应该看起来像 方案4 的文件。

项目的商店,我找不到详细的说明。 我想看看Mlflow的文件 在这里, 但这并不是非常有帮助的(我还是个初学者)。 他们说:

MLflow预计Azure储存访问的全权证书的AZURE_STORAGE_CONNECTION_STRING,AZURE_STORAGE_ACCESS_KEY环境变量或者具有凭据的配置使得DefaultAzureCredential(). 类可以接他们。

然而,即使增加的环境变量,似乎什么都没有被存储在数据湖。 我创建了两个env变量(Windows10):

  • AZURE_STORAGE_ACCESS_KEY=wasbs://container-name@storage_account_name.blob.core.windows.net/mlartifacts

  • AZURE_STORAGE_CONNECTION_STRING=DefaultEndpointsProtocol=https;帐户名=storagesample;AccountKey=. 我得到了它通过以下路径、客户、门户:储存的账户/访问键/连串(把一个关键2).

他们还说:

此外,还必须运行pip安装蔚存储-blob分开(在你的客户和服务器)访问Azure Blob储存。 最后,如果要使用DefaultAzureCredential,你必须pip安装蔚身份;MLflow不宣布依赖于这些软件包的默认。

我加入他们在我的项目的要求,但是他们是什么意思正是通过安装在客户和服务器? 如何蔚身份有助于在设置?

能不能请你帮我一步步说明如何使所完成安装?

谢谢你提前!

azure mlflow mlops python
2021-11-23 16:46:18
1

最好的答案

2

你只需要设置 AZURE_STORAGE_CONNECTION_STRING, AZURE_STORAGE_ACCESS_KEY 是可选的,如果第一环境变量使用的(无论如何, AZURE_STORAGE_ACCESS_KEY 不应该是URL,但是实际访问键)。

关于 azure-storage-blob 包应该装上两个服务器运行 mlflow server,并在同一台机器上运行你的训练(client)。

2021-11-27 11:41:33

谢谢你的答案! 你是对的AZURE_STORAGE_ACCESS_KEY,我不知道为什么我做了这个错误。 最终,这是不考虑我的情况因为我用AZURE_STORAGE_CONNECTION_STRING. 我终于设法使其工作通过使用双反斜杠和使用港口5000==> mlflow server --backend-store-uri sqlite:///C:\\sqlite\\db\\mlruns.db --default-artifact-root wasbs://container-name@storage_account_name.blob.core.windows.net/mlartifacts -h 0.0.0.0 -p 5000
Downforu

其他语言

此页面有其他语言版本

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
한국어
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Česk
..................................................................................................................
Português
..................................................................................................................
ไทย
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................