линуксоидам: Python 3.7 на Dell gpu+cuda

Ответить
kyk
Reactions: 545
Сообщения: 6995
Зарегистрирован: Ср июн 15, 2022 6:54 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение kyk »

Mad Hatter писал(а): Вс окт 15, 2023 1:25 pm Я тебе напишу скоро подробнее
На днях установлю Ubuntu 22.04.3 LTS на Dell.
Я уже заказал GeForce RTX 4060 Ti-16Gb. Надеюсь получиться с этой картой мой package запустить.

Ксатати, самый простой (и возможно единственный на данный момент) способ установить (уже устаревшую) версию Python 3.7 - это установить миниконду с вебсайта repo.anaconda.com.

Я уже установил в Colab-е (и также планирую установить эту миниконду в Ubuntu 22.04.3 LTS) следующим образом:

Код: Выделить всё

wget https://repo.anaconda.com/miniconda/Miniconda3-py37_23.1.0-1-Linux-x86_64.sh
chmod +x Miniconda3-py37_23.1.0-1-Linux-x86_64.sh
bash ./Miniconda3-py37_23.1.0-1-Linux-x86_64.sh -b -f -p /usr/local

import sys
sys.path.append('/usr/local/lib/python3.7/site-packages/')

Код: Выделить всё

which conda
conda --version
python --version
/usr/local/bin/conda
conda 23.1.0
Python 3.7.16
Кстати, я обратил внимание что код

Код: Выделить всё

conda install --yes --file requirements.txt 
работает хуже чем

Код: Выделить всё

pip --default-timeout=300 install -r requirements.txt
Причём 'pip install' стал работать без ошибок после того как добавил опцию --default-timeout='много времени'

А вот 'conda install' выдаёт ошибку (возможно timeout?) :

Код: Выделить всё

conda config --append channels conda-forge
conda config --append channels cctbx202208
conda config --set channel_priority flexible

conda install --yes --file requirements.txt
Solving environment: failed with initial frozen solve. Retrying with flexible solve.

PackagesNotFoundError: The following packages are not available from current channels:

- summarizer
- bert-extractive-summarizer
- amrlib==0.7.0
- tabula
- tabula_py
- //s3-us-west-2.amazonaws.com/ai2-s2-scispacy/releases/v0.5.0/en_core_sci_lg-0.5.0.tar.gz
- tensorflow_hub
- //s3-us-west-2.amazonaws.com/ai2-s2-scispacy/releases/v0.5.0/en_core_sci_scibert-0.5.0.tar.gz
- arxiv2bib
- sentence_transformers
- scikit_learn
- streamlit-pydantic
- pymupdf
- keybert
- scispacy
- torch


Current channels:

- https://repo.anaconda.com/pkgs/main/linux-64
- https://repo.anaconda.com/pkgs/main/noarch
- https://repo.anaconda.com/pkgs/r/linux-64
- https://repo.anaconda.com/pkgs/r/noarch
- https://conda.anaconda.org/conda-forge/linux-64
- https://conda.anaconda.org/conda-forge/noarch
- https://conda.anaconda.org/cctbx202208/linux-64
- https://conda.anaconda.org/cctbx202208/noarch

To search for alternate channels that may provide the conda package you're
looking for, navigate to

https://anaconda.org
код "pip --default-timeout=300 install -r requirements.txt" ошибок не выдаёт:

Код: Выделить всё

pip --default-timeout=300 install -r requirements.txt
python program.py
Torch_device: cpu
Traceback (most recent call last):
File "test.py", line 2, in <module>
mysurveyor = Surveyor()
File "/content/Auto-Research/src/Surveyor.py", line 78, in __init__
spacy.require_gpu()
File "/usr/local/lib/python3.7/site-packages/thinc/util.py", line 212, in require_gpu
raise ValueError("GPU is not accessible. Was the library installed correctly?")
ValueError: GPU is not accessible. Was the library installed correctly?
1 Изображение
kyk
Reactions: 545
Сообщения: 6995
Зарегистрирован: Ср июн 15, 2022 6:54 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение kyk »

Mad Hatter писал(а): Вс окт 15, 2023 10:04 am https://stackoverflow.com/questions/577 ... ogle-colab
More fresh info: https://stackoverflow.com/a/74561909

So, in Colab, I have Python 3.7 virtual environment and I need CUDA=11.2+cuDNN=8.1
Now checking Colab's (virtual) Ubuntu version:
!lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description: Ubuntu 22.04.2 LTS
Release: 22.04
Codename: jammy
Download cuDNN v8.1.0 (January 26th, 2021), for CUDA 11.0,11.1 and 11.2
Cuda.png
Cuda.png (84.55 КБ) 435 просмотров

Now we observe that there is no driver for the 22.04 version of Ubuntu.
The highest number of Ubuntu is 20.04


2.png
2.png (85.4 КБ) 410 просмотров
Does it also mean that on my Dell I must install Ubuntu 20.04 (instead of 22.04)?
kyk
Reactions: 545
Сообщения: 6995
Зарегистрирован: Ср июн 15, 2022 6:54 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение kyk »

Install TensorFlow and PyTorch with CUDA, cUDNN, and GPU Support in 3 Easy Steps

Код: Выделить всё

conda activate tf_env
conda install -c conda-forge cudatoolkit=11.2.2 cudnn=8.1.0
mkdir -p $CONDA_PREFIX/etc/conda/activate.d
mkdir -p $CONDA_PREFIX/etc/conda/deactivate.d

printf '#!/bin/sh\nexport OLD_LD_LIBRARY_PATH=$LD_LIBRARY_PATH\nexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$CONDA_PREFIX/lib/\n' > $CONDA_PREFIX/etc/conda/activate.d/env_vars.sh 
printf '#!/bin/sh\nexport LD_LIBRARY_PATH=$OLD_LD_LIBRARY_PATH\nunset OLD_LD_LIBRARY_PATH\n' > $CONDA_PREFIX/etc/conda/deactivate.d/env_vars.sh 
https://github.com/tensorflow/tensorflo ... 1324524103

Код: Выделить всё

wget https://developer.download.nvidia.com/compute/cuda/11.2.2/local_installers/cuda_11.2.2_460.32.03_linux.run
sh ./cuda_11.2.2_460.32.03_linux.run --toolkit --silent --override

Install CUDA 11.2, cuDNN 8.1.0, PyTorch v1.8.0 (or v1.9.0), and python 3.9 on RTX3090

То же самое as Google doc:
Install CUDA 11.2, cuDNN 8.1.0, PyTorch v1.8.0 (or v1.9.0), and python 3.9 on RTX3090 as Google doc

Set up conda environment with pytorch 1.7 & cuda 11.1

conda install -c conda-forge pytorch cudatoolkit=11.2

https://stackoverflow.com/questions/595 ... udatoolkit

https://stackoverflow.com/questions/564 ... udatoolkit

Последний раз редактировалось kyk Ср окт 18, 2023 4:06 am, всего редактировалось 2 раза.
Аватара пользователя
Mad Hatter
⭐ Top 5 most interesting users
Reactions: 2019
Сообщения: 10267
Зарегистрирован: Пн июн 13, 2022 7:22 am

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Mad Hatter »

На Dell я вообще 18 Ubuntu советую ставить (смотри выше)
kyk
Reactions: 545
Сообщения: 6995
Зарегистрирован: Ср июн 15, 2022 6:54 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение kyk »

Mad Hatter писал(а): Ср окт 18, 2023 4:03 am На Dell я вообще 18 Ubuntu советую ставить (смотри выше)
а где выше? ткни пальТцем

Советуешь 18 Ubuntu? - даже если Dell куплен совсем недавно, достаточно мощный, с i7+ процессором 16GB RAM и видеокартой GeForce RTX 4060 Ti-16Gb ?

Если только из-за версиии Питона 3.6, то 18 Ubuntu не решает проблему, так как мне нужна версия Питона 3.7 и её можно взять только из миниконды.
А миниконду с Питоном версии 3.7 можно установить на любую Ubuntu, включая и 22-04, паралельно с родным Питоном 3.10 of Ubuntu 22-04
Или я что-то не понимаю?
Аватара пользователя
Mad Hatter
⭐ Top 5 most interesting users
Reactions: 2019
Сообщения: 10267
Зарегистрирован: Пн июн 13, 2022 7:22 am

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Mad Hatter »

Хм, могу взять Dell xps с Nvidia и попробовать на нем настроить твой пакет
Аватара пользователя
Mad Hatter
⭐ Top 5 most interesting users
Reactions: 2019
Сообщения: 10267
Зарегистрирован: Пн июн 13, 2022 7:22 am

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Mad Hatter »

Кстати на VM я все поставил (Ubuntu 18 + Anaconda, python 3.7)
Но Nvidia на ней нет и видимо из-за этого падает с сообщением core dump (треклятые программисты где-то не проверяют что железки то и нет!)
Bobeg
Reactions: 2537
Сообщения: 16758
Зарегистрирован: Ср июн 15, 2022 4:01 am

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Bobeg »

Маладецъ Кукъ, серьезно долбицца!
Аватара пользователя
Mad Hatter
⭐ Top 5 most interesting users
Reactions: 2019
Сообщения: 10267
Зарегистрирован: Пн июн 13, 2022 7:22 am

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Mad Hatter »

kyk писал(а): Ср окт 18, 2023 4:32 am
А миниконду с Питоном версии 3.7 можно установить на любую Ubuntu, включая и 22-04, паралельно с родным Питоном 3.10 of Ubuntu 22-04
Или я что-то не понимаю?
В теории можно всё. На практике можно столкнуться с тем, что какой нибудь апп требует специфическую версию glibc, которая привязана к версии Ubuntu. Когда такое случается, начинаются такие танцы с бубнами, что проще поставить нужную версию OS сразу. В таком случае начинаешь добрым словом вспоминать Windows где достаточно положить нужную DLL в фолдер приложения и проблема решена.
Аватара пользователя
Mad Hatter
⭐ Top 5 most interesting users
Reactions: 2019
Сообщения: 10267
Зарегистрирован: Пн июн 13, 2022 7:22 am

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Mad Hatter »

Кстати, сам модуль говорит, что "python 3.7 or above"
kyk
Reactions: 545
Сообщения: 6995
Зарегистрирован: Ср июн 15, 2022 6:54 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение kyk »

Mad Hatter писал(а): Ср окт 18, 2023 8:33 am Кстати, сам модуль говорит, что "python 3.7 or above"
Я пробовал с ним python 3.8 и 3.9 и 3.10 - выдаёт ошибки
Последний раз редактировалось kyk Ср окт 18, 2023 9:28 am, всего редактировалось 1 раз.
kyk
Reactions: 545
Сообщения: 6995
Зарегистрирован: Ср июн 15, 2022 6:54 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение kyk »

Mad Hatter писал(а): Ср окт 18, 2023 8:02 am
kyk писал(а): Ср окт 18, 2023 4:32 am
А миниконду с Питоном версии 3.7 можно установить на любую Ubuntu, включая и 22-04, паралельно с родным Питоном 3.10 of Ubuntu 22-04
Или я что-то не понимаю?
На практике можно столкнуться с тем, что какой нибудь апп требует специфическую версию glibc, которая привязана к версии Ubuntu.
Ну и чем этот glibc из Ubuntu 22 или 20 будет хуже glibc-а из Ubuntu 18?


Ну так если я установлю Ubuntu 18, там же будет Питон 3.6. Тогда как же я на Ubuntu 18 обновлю Питон до ver3.7? (если не через Миниконду или Анаконду?)
Mad Hatter писал(а): Ср окт 18, 2023 6:18 amКстати на VM я все поставил (Ubuntu 18 + Anaconda, python 3.7)
насколько я понял , ты же Питон 3.7 там тоже взял из Анаконды. Так?

Почему в таком случае нелья повторить твои действия точно так же с Ubuntu 20 или 22, а именно добавить туда Anacond-у с python -ом 3.7
Mad Hatter писал(а): Ср окт 18, 2023 8:02 am какой нибудь апп требует специфическую версию glibc, которая привязана к версии Ubuntu.
ну и чем этот glibc из Ubuntu 22 (или 20) будет хуже glibc-а из Ubuntu 18?
Если и на Ubuntu-18, и на Ubuntu 22 (или 20) будет стоять одна и таже Анакогда с Питоном 3.7
Последний раз редактировалось kyk Ср окт 18, 2023 9:43 am, всего редактировалось 3 раза.
Аватара пользователя
Mad Hatter
⭐ Top 5 most interesting users
Reactions: 2019
Сообщения: 10267
Зарегистрирован: Пн июн 13, 2022 7:22 am

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Mad Hatter »

Чем хуже? Апликуха просто не работает и все :)
Аватара пользователя
Mad Hatter
⭐ Top 5 most interesting users
Reactions: 2019
Сообщения: 10267
Зарегистрирован: Пн июн 13, 2022 7:22 am

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Mad Hatter »

kyk писал(а): Ср окт 18, 2023 9:15 am
Mad Hatter писал(а): Ср окт 18, 2023 8:33 am Кстати, сам модуль говорит, что "python 3.7 or above"
Я пробовал с ним python 3.8 и 3.9 и 3.10 - выдаёт ошибки
А конкретнее?
kyk
Reactions: 545
Сообщения: 6995
Зарегистрирован: Ср июн 15, 2022 6:54 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение kyk »

Mad Hatter писал(а): Ср окт 18, 2023 9:43 am Чем хуже? Апликуха просто не работает и все :)
а каким боком glibc к Питону 3.7? Или это не связано с версией Питона?
Последний раз редактировалось kyk Ср окт 18, 2023 9:45 am, всего редактировалось 1 раз.
Аватара пользователя
Mad Hatter
⭐ Top 5 most interesting users
Reactions: 2019
Сообщения: 10267
Зарегистрирован: Пн июн 13, 2022 7:22 am

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Mad Hatter »

kyk писал(а): Ср окт 18, 2023 9:44 am
Mad Hatter писал(а): Ср окт 18, 2023 9:43 am Чем хуже? Апликуха просто не работает и все :)
а каким боком это к Питону 3.7? Или не связано с версией Питона?
Ну так ещё CUDA надо ставить, а это - совершенно отдельное приложение.
И всякие pdf tools - тоже бинарники.
В отличие от Windows, у Linux бинарная совместимость версий никакая.
kyk
Reactions: 545
Сообщения: 6995
Зарегистрирован: Ср июн 15, 2022 6:54 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение kyk »

Mad Hatter писал(а): Ср окт 18, 2023 9:44 am
kyk писал(а): Ср окт 18, 2023 9:44 am а каким боком это к Питону 3.7? Или не связано с версией Питона?
Ну так ещё CUDA надо ставить, а это - совершенно отдельное приложение.
Т.е. ты считаешь, что CUDA будет лучше ставиться на Unbuntu 18, чем на Unbuntu 20 ?
Не смотря на то, что Питон 3.7 в обоих случаях будет одинаковый из одинаковой Анаконды
Последний раз редактировалось kyk Ср окт 18, 2023 9:48 am, всего редактировалось 1 раз.
Аватара пользователя
Mad Hatter
⭐ Top 5 most interesting users
Reactions: 2019
Сообщения: 10267
Зарегистрирован: Пн июн 13, 2022 7:22 am

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Mad Hatter »

Да без понятия. Пробовать надо.
Простое соображение: раз модуль не обновляли, то он лучше совместим со старым софтом, чем с новым.
kyk
Reactions: 545
Сообщения: 6995
Зарегистрирован: Ср июн 15, 2022 6:54 pm

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение kyk »

Mad Hatter писал(а): Ср окт 18, 2023 9:48 am Да без понятия. Пробовать надо.
Простое соображение: раз модуль не обновлял, то он лучше совместим со старым софтом, чем с новым.
Т.е. безотносительно версии Питона. Так?
Аватара пользователя
Mad Hatter
⭐ Top 5 most interesting users
Reactions: 2019
Сообщения: 10267
Зарегистрирован: Пн июн 13, 2022 7:22 am

Re: линуксоидам: Python 3.7 на Dell gpu+cuda

Сообщение Mad Hatter »

kyk писал(а): Ср окт 18, 2023 9:50 am
Mad Hatter писал(а): Ср окт 18, 2023 9:48 am Да без понятия. Пробовать надо.
Простое соображение: раз модуль не обновлял, то он лучше совместим со старым софтом, чем с новым.
Т.е. безотносительно версии Питона. Так?
Да, так как там не только Питон.
Ответить