Topic: Dimensione massima del file per la funzione shutil.copy()  (Letto 87 volte)

0 Utenti e 1 Visitatore stanno visualizzando questo topic.

Offline dec0077

  • python unicellularis
  • *
  • Post: 2
  • Punti reputazione: 0
    • Mostra profilo
Ciao a tutti,

sto utilizzando la funzione shutil.copy() per effettuare la copia di file da uno storage NFS ad un altro.
Oggi mi sono capitati da trattare due file da 5.3TB ciascuno e a 4TB la copy() mi ha dato una eccezione OSError con questa segnalazione:

[Errno 27] File too large

Dove posso trovare la documentazione sui limiti di dimensione dei file gestiti da shutil? Quale altro modulo potrei usare per superare questo problema?


Grazie,
Alberto

Offline bebo

  • python erectus
  • ***
  • Post: 238
  • Punti reputazione: 0
    • Mostra profilo
    • bebo_sudo's personal homepage
Re:Dimensione massima del file per la funzione shutil.copy()
« Risposta #1 il: Maggio 24, 2019, 22:51 »
Temo non sia un problema di shutil, che usa normali chiamate POSIX, niente di magico.

Se provi con rsync ottieni lo stesso errore?
Che tipo di File System e versioni sono?

Offline dec0077

  • python unicellularis
  • *
  • Post: 2
  • Punti reputazione: 0
    • Mostra profilo
Re:Dimensione massima del file per la funzione shutil.copy()
« Risposta #2 il: Maggio 25, 2019, 07:45 »
Dopo aver scritto il post ho aggiunto un po' di debug al codice e riprovato...

Hai ragione a dire che non é shutil, infatti ho scoperto dalla relativa documentazione che lo storage di destinazione, un EMC Isilon con versione del software OneFS 8.1.2 supporta file con dimensione massima di 4TB.

Dovró dire agli utenti di farsi ricreare i file in questione rispettando questo limite, altrimenti non posso gestire quei file. Sperando poi che una prossima versione di OneFS aumenti questo limite.


Grazie comunque per l'interessamento.

Ciao,
Alberto