Страница 4 из 9
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Пн окт 16, 2023 12:10 am
kyk
Mad Hatter писал(а): ↑Вс окт 15, 2023 1:25 pm
Я тебе напишу скоро подробнее
На днях установлю Ubuntu 22.04.3 LTS на Dell.
Я уже заказал GeForce RTX 4060 Ti-16Gb. Надеюсь получиться с этой картой мой package запустить.
Ксатати, самый простой (и возможно единственный на данный момент) способ установить (уже устаревшую) версию Python 3.7 - это установить миниконду с вебсайта repo.anaconda.com.
Я уже установил в Colab-е (и также планирую установить эту миниконду в Ubuntu 22.04.3 LTS) следующим образом:
Код: Выделить всё
wget https://repo.anaconda.com/miniconda/Miniconda3-py37_23.1.0-1-Linux-x86_64.sh
chmod +x Miniconda3-py37_23.1.0-1-Linux-x86_64.sh
bash ./Miniconda3-py37_23.1.0-1-Linux-x86_64.sh -b -f -p /usr/local
import sys
sys.path.append('/usr/local/lib/python3.7/site-packages/')
Код: Выделить всё
which conda
conda --version
python --version
/usr/local/bin/conda
conda 23.1.0
Python 3.7.16
Кстати, я обратил внимание что код
Код: Выделить всё
conda install --yes --file requirements.txt
работает хуже чем
Код: Выделить всё
pip --default-timeout=300 install -r requirements.txt
Причём 'pip install' стал работать без ошибок после того как добавил опцию --default-timeout='много времени'
А вот 'conda install' выдаёт ошибку (возможно timeout?) :
Код: Выделить всё
conda config --append channels conda-forge
conda config --append channels cctbx202208
conda config --set channel_priority flexible
conda install --yes --file requirements.txt
код "pip --default-timeout=300 install -r requirements.txt" ошибок не выдаёт:
Код: Выделить всё
pip --default-timeout=300 install -r requirements.txt
python program.py
Torch_device: cpu
Traceback (most recent call last):
File "test.py", line 2, in <module>
mysurveyor = Surveyor()
File "/content/Auto-Research/src/Surveyor.py", line 78, in __init__
spacy.require_gpu()
File "/usr/local/lib/python3.7/site-packages/thinc/util.py", line 212, in require_gpu
raise ValueError("GPU is not accessible. Was the library installed correctly?")
ValueError: GPU is not accessible. Was the library installed correctly?
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Пн окт 16, 2023 7:39 pm
kyk
More fresh info:
https://stackoverflow.com/a/74561909
So, in Colab, I have Python 3.7 virtual environment and I need CUDA=11.2+cuDNN=8.1
Now checking Colab's (virtual) Ubuntu version:
!lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description: Ubuntu 22.04.2 LTS
Release: 22.04
Codename: jammy
Download cuDNN v8.1.0 (January 26th, 2021), for CUDA 11.0,11.1 and 11.2
- Cuda.png (84.55 КБ) 434 просмотра
Now we observe that there is no driver for the 22.04 version of Ubuntu.
The highest number of Ubuntu is 20.04
- 2.png (85.4 КБ) 409 просмотров
Does it also mean that on my Dell I must install Ubuntu 20.04 (instead of 22.04)?
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Вт окт 17, 2023 11:01 pm
kyk
Install TensorFlow and PyTorch with CUDA, cUDNN, and GPU Support in 3 Easy Steps
Код: Выделить всё
conda activate tf_env
conda install -c conda-forge cudatoolkit=11.2.2 cudnn=8.1.0
mkdir -p $CONDA_PREFIX/etc/conda/activate.d
mkdir -p $CONDA_PREFIX/etc/conda/deactivate.d
printf '#!/bin/sh\nexport OLD_LD_LIBRARY_PATH=$LD_LIBRARY_PATH\nexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$CONDA_PREFIX/lib/\n' > $CONDA_PREFIX/etc/conda/activate.d/env_vars.sh
printf '#!/bin/sh\nexport LD_LIBRARY_PATH=$OLD_LD_LIBRARY_PATH\nunset OLD_LD_LIBRARY_PATH\n' > $CONDA_PREFIX/etc/conda/deactivate.d/env_vars.sh
https://github.com/tensorflow/tensorflo ... 1324524103
Код: Выделить всё
wget https://developer.download.nvidia.com/compute/cuda/11.2.2/local_installers/cuda_11.2.2_460.32.03_linux.run
sh ./cuda_11.2.2_460.32.03_linux.run --toolkit --silent --override
Install CUDA 11.2, cuDNN 8.1.0, PyTorch v1.8.0 (or v1.9.0), and python 3.9 on RTX3090
То же самое as Google doc:
Install CUDA 11.2, cuDNN 8.1.0, PyTorch v1.8.0 (or v1.9.0), and python 3.9 on RTX3090 as Google doc
Set up conda environment with pytorch 1.7 & cuda 11.1
conda install -c conda-forge pytorch cudatoolkit=11.2
https://stackoverflow.com/questions/595 ... udatoolkit
https://stackoverflow.com/questions/564 ... udatoolkit
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Ср окт 18, 2023 4:03 am
Mad Hatter
На Dell я вообще 18 Ubuntu советую ставить (смотри выше)
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Ср окт 18, 2023 4:32 am
kyk
Mad Hatter писал(а): ↑Ср окт 18, 2023 4:03 am
На Dell я вообще 18 Ubuntu советую ставить (смотри выше)
а где выше? ткни пальТцем
Советуешь 18 Ubuntu? - даже если Dell куплен совсем недавно, достаточно мощный, с i7+ процессором 16GB RAM и видеокартой GeForce RTX 4060 Ti-16Gb ?
Если только из-за версиии Питона 3.6, то 18 Ubuntu не решает проблему, так как мне нужна версия Питона 3.7 и её можно взять только из миниконды.
А миниконду с Питоном версии 3.7 можно установить на любую Ubuntu, включая и 22-04, паралельно с родным Питоном 3.10 of Ubuntu 22-04
Или я что-то не понимаю?
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Ср окт 18, 2023 5:00 am
Mad Hatter
Хм, могу взять Dell xps с Nvidia и попробовать на нем настроить твой пакет
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Ср окт 18, 2023 6:18 am
Mad Hatter
Кстати на VM я все поставил (Ubuntu 18 + Anaconda, python 3.7)
Но Nvidia на ней нет и видимо из-за этого падает с сообщением core dump (треклятые программисты где-то не проверяют что железки то и нет!)
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Ср окт 18, 2023 7:53 am
Bobeg
Маладецъ Кукъ, серьезно долбицца!
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Ср окт 18, 2023 8:02 am
Mad Hatter
kyk писал(а): ↑Ср окт 18, 2023 4:32 am
А миниконду с Питоном версии 3.7 можно установить на любую Ubuntu, включая и 22-04, паралельно с родным Питоном 3.10 of Ubuntu 22-04
Или я что-то не понимаю?
В теории можно всё. На практике можно столкнуться с тем, что какой нибудь апп требует специфическую версию glibc, которая привязана к версии Ubuntu. Когда такое случается, начинаются такие танцы с бубнами, что проще поставить нужную версию OS сразу. В таком случае начинаешь добрым словом вспоминать Windows где достаточно положить нужную DLL в фолдер приложения и проблема решена.
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Ср окт 18, 2023 8:33 am
Mad Hatter
Кстати, сам модуль говорит, что "python 3.7 or above"
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Ср окт 18, 2023 9:15 am
kyk
Mad Hatter писал(а): ↑Ср окт 18, 2023 8:33 am
Кстати, сам модуль говорит, что "python 3.7 or above"
Я пробовал с ним python 3.8 и 3.9 и 3.10 - выдаёт ошибки
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Ср окт 18, 2023 9:17 am
kyk
Mad Hatter писал(а): ↑Ср окт 18, 2023 8:02 am
kyk писал(а): ↑Ср окт 18, 2023 4:32 am
А миниконду с Питоном версии 3.7 можно установить на любую Ubuntu, включая и 22-04, паралельно с родным Питоном 3.10 of Ubuntu 22-04
Или я что-то не понимаю?
На практике можно столкнуться с тем, что какой нибудь апп требует специфическую версию glibc, которая привязана к версии Ubuntu.
Ну и чем этот glibc из Ubuntu 22 или 20 будет хуже glibc-а из Ubuntu 18?
Ну так если я установлю Ubuntu 18, там же будет Питон 3.6. Тогда как же я на Ubuntu 18 обновлю Питон до ver3.7? (если не через Миниконду или Анаконду?)
Mad Hatter писал(а): ↑Ср окт 18, 2023 6:18 amКстати на VM я все поставил (Ubuntu 18 + Anaconda, python 3.7)
насколько я понял , ты же Питон 3.7 там тоже взял из Анаконды. Так?
Почему в таком случае нелья повторить твои действия точно так же с Ubuntu 20 или 22, а именно добавить туда Anacond-у с python -ом 3.7
Mad Hatter писал(а): ↑Ср окт 18, 2023 8:02 am какой нибудь апп требует специфическую версию glibc, которая привязана к версии Ubuntu.
ну и чем этот glibc из Ubuntu 22 (или 20) будет хуже glibc-а из Ubuntu 18?
Если и на Ubuntu-18, и на Ubuntu 22 (или 20) будет стоять одна и таже Анакогда с Питоном 3.7
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Ср окт 18, 2023 9:43 am
Mad Hatter
Чем хуже? Апликуха просто не работает и все
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Ср окт 18, 2023 9:43 am
Mad Hatter
kyk писал(а): ↑Ср окт 18, 2023 9:15 am
Mad Hatter писал(а): ↑Ср окт 18, 2023 8:33 am
Кстати, сам модуль говорит, что "python 3.7 or above"
Я пробовал с ним python 3.8 и 3.9 и 3.10 - выдаёт ошибки
А конкретнее?
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Ср окт 18, 2023 9:44 am
kyk
Mad Hatter писал(а): ↑Ср окт 18, 2023 9:43 am
Чем хуже? Апликуха просто не работает и все
а каким боком glibc к Питону 3.7? Или это не связано с версией Питона?
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Ср окт 18, 2023 9:44 am
Mad Hatter
kyk писал(а): ↑Ср окт 18, 2023 9:44 am
Mad Hatter писал(а): ↑Ср окт 18, 2023 9:43 am
Чем хуже? Апликуха просто не работает и все
а каким боком это к Питону 3.7? Или не связано с версией Питона?
Ну так ещё CUDA надо ставить, а это - совершенно отдельное приложение.
И всякие pdf tools - тоже бинарники.
В отличие от Windows, у Linux бинарная совместимость версий никакая.
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Ср окт 18, 2023 9:46 am
kyk
Mad Hatter писал(а): ↑Ср окт 18, 2023 9:44 am
kyk писал(а): ↑Ср окт 18, 2023 9:44 am
а каким боком это к Питону 3.7? Или не связано с версией Питона?
Ну так ещё CUDA надо ставить, а это - совершенно отдельное приложение.
Т.е. ты считаешь, что CUDA будет лучше ставиться на Unbuntu 18, чем на Unbuntu 20 ?
Не смотря на то, что Питон 3.7 в обоих случаях будет одинаковый из одинаковой Анаконды
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Ср окт 18, 2023 9:48 am
Mad Hatter
Да без понятия. Пробовать надо.
Простое соображение: раз модуль не обновляли, то он лучше совместим со старым софтом, чем с новым.
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Ср окт 18, 2023 9:50 am
kyk
Mad Hatter писал(а): ↑Ср окт 18, 2023 9:48 am
Да без понятия. Пробовать надо.
Простое соображение: раз модуль не обновлял, то он лучше совместим со старым софтом, чем с новым.
Т.е. безотносительно версии Питона. Так?
Re: линуксоидам: Python 3.7 на Dell gpu+cuda
Добавлено: Ср окт 18, 2023 9:52 am
Mad Hatter
kyk писал(а): ↑Ср окт 18, 2023 9:50 am
Mad Hatter писал(а): ↑Ср окт 18, 2023 9:48 am
Да без понятия. Пробовать надо.
Простое соображение: раз модуль не обновлял, то он лучше совместим со старым софтом, чем с новым.
Т.е. безотносительно версии Питона. Так?
Да, так как там не только Питон.