Condividi:        

problema con foglio di calcolo da 150.000 righe di dati

Vuoi potenziare i tuoi documenti Word? Non sai come si fa una macro in Excel? Devi creare una presentazione in PowerPoint?
Oppure sei passato a OpenOffice e non sei sicuro di come lavorare al meglio?

Moderatori: Anthony47, Flash30005

problema con foglio di calcolo da 150.000 righe di dati

Postdi nemoclipru » 03/10/16 16:00

Buongiorno a tutti,
sto riscontrando un problema ultimamente: lavoro con Excel 2016 e sto creando un foglio di calcolo con 150.000 righe di dati (nulla di particolarmente elaborato, sono semplici numeri). Ogni dato di ognuna delle 150.000 righe è associato ad una serie di semplici operazioni nelle successive caselle laterali. Non utilizzo nè macro nè grafici nè altre cose particolarmente complesse​ nel file.
Ho salvato con estenzione .xlsb e mi viene fuori un file da 147MB. Lavorarci sopra, modificarlo, estenderlo con altre operazioni è molto complicato perchè EXCEL mi si blocca spesso (premetto che quando ci lavoro tengo qualsiasi altro programma chiuso).
Vorrei sapere se:
- ci sono estensioni di salvataggio più efficaci per ridurre il peso del file (purtroppo 150.000 righe non sono supportate da versioni di Excel vecchie)
- è un problema mio di potenza del PC se Excel va spesso in crash oppure è normale quando si lavora con file Excel di queste dimensioni (potenza del mio PC: Intel Core i5-3230M CPU 2.60GHz, 4 GB RAM)
- esistono scorciatoie e trucchi per lavorare senza problemi con moli di dati così ingenti

Grazie in anticipo a tutti quelli che mi daranno una mano

ps. se non esistono alternative valide, l'ultima spiaggia sarebbe quella di dividere il file in 2-3 parti e lavorare singolarmente su ognuna
nemoclipru
Newbie
 
Post: 8
Iscritto il: 30/09/16 21:43

Sponsor
 

Re: problema con foglio di calcolo da 150.000 righe di dati

Postdi wallace&gromit » 03/10/16 16:09

ciao nemoclipru e benvenuto nel forum.
Estensione .xlsb? Perché mai? Quella è per file personali, per esempio con macro che si aprono automaticamente quando lanci excel.
Devi salvare in formato .xlsx
Prova e fai sapere.
Comunque anche le "semplici operazioni", se sono tante possono pesare parecchio. Magari puoi trasformarne una parte in valori o usare delle macro.

P.S. il processore è sicuramente all'altezza anche per cose più complicate che excel!
Office2016 + 2019 su win11
Avatar utente
wallace&gromit
Utente Senior
 
Post: 2174
Iscritto il: 16/01/12 14:21

Re: problema con foglio di calcolo da 150.000 righe di dati

Postdi Anthony47 » 03/10/16 16:30

Benvenuto anche da parte mia.
Il formato xlsb e' "binario", simile a quello delle vecchie versioni; invece i formati xlsx o xlsm sono formati "compressi" che quindi riescono a ridurre la dimensione del file su disco; quando vengono aperti prima devono essere espansi. Insomma i formati xlsx/xlsm riducono lo spazio su disco, ma si aprono piu' lentamente e occupano lo stesso spazio in memoria.
Sono pero' piu' resilienti alla corruzione, perche' hanno alle spalle una descrizione in formato xml; insomma il formato che io in genere raccomando e' xlsx/xlsm, anche in questo caso.
Ora per capire se 150MB sono equi bisognerebbe avere un'idea di cosa c'e' scritto in quelle righe: puoi pubblicare un piccolo esempio con 1000-5000 righe? Come pure se si blocca in realta' e' perche' il ricalcolo dura tantissimo, quindi bisognerebbe avere un campione di formule usate per le semplici operazioni nelle colonne adiacenti.
Usi tabelle pivot?
Un file di esempio insomma e' fondamentale, anche nel caso che salvando nel formato xlsx l'occupazione scendesse di molto.

Per le istruzioni su come allegare un file:
viewtopic.php?f=26&t=103893&p=605487#p605487

Ciao a tutti.
Avatar utente
Anthony47
Moderatore
 
Post: 19181
Iscritto il: 21/03/06 16:03
Località: Ivrea

Re: problema con foglio di calcolo da 150.000 righe di dati

Postdi nemoclipru » 04/10/16 01:16

grazie ragazzi per l'accoglienza!
allora, l'ho salvato inizialmente in .xlsb per puro caso, pensando che potesse occupare meno spazio rispetto alle altre estensione e desse quindi maggiore versatilità di lavoro.
Comunque l'ho risalvato in .xlsx ma non è che sia cambiato granchè a livello di crash continui di excel, oltretutto il peso in MB rimane pressochè lo stesso di quello .xlsb.
Specifico che il file ha 150.000 righe e si estende fino alla colonna NC (quindi 367 colonne), per un totale di 55 milioni di caselle (di cui, tralasciando quelle vuote, circa 30 milioni con formule).
Ad un certo punto della copiatura di formule per tutta la copertura di tutte le 150.000 righe, il programma si impalla e non si va più avanti, nemmeno chiudendolo e riaprendolo.
Ho parzialmente risolto dividendo il file in 3 parti (1° file da 100MB = 150.000 righe X 122 colonne; 1° file da 95MB = 150.000 X 122; 3° file da 102MB = 150.000 X 123), ma per i successivi lavori che dovrò fare questa divisione mi è alquanto scomoda.


Di seguito un campione del file con 1000 righe di dati (e relative celle di calcolo per ogni riga)
https://we.tl/C25tdRRiWY
nemoclipru
Newbie
 
Post: 8
Iscritto il: 30/09/16 21:43

Re: problema con foglio di calcolo da 150.000 righe di dati

Postdi Anthony47 » 05/10/16 01:45

Nel salvataggio in formato xlsb la dimensione del file dimostrativo scende da 3.8 a 2.9 MByte, circa il 23%

Nel file, oltre il 60% e' occupato dal foglio FINALE, che contiene 189 valori per riga, di cui 180 di formule.
E' possibile che in tutta questa abbondanza ci sia qualche modo per riparmiare; ad esempio vedo che si susseguono in orizzontale formule Cerca.Vert che operano tutte sulla stessa tabella (tabella quote'!$A$2:$FT$176) in tutto credo che siano 90 formule diverse ma simili, che potrebbero essere ricondotte a una unica formula =Indice(LaTabella;LaRiga;0) che, inserita 1 sola volta in 90 colonne restituisce tutte le 90 colonne della tabella di origine, e questo riduce l'occupazione del file. Lavorando su formule con circa 20 colonne lo spazio si e' ridotto di circa il 60%, penso che per 90 colonne il risparmio possa essere superiore.
E' vero che questo richiede una riorganizzazione della tabella di partenza: ora i dati sono intrecalati da colonne vuote, che comunque potrebbero essere ignorate o nascoste nella tabella dei risultati; ma anche nella tabella dei risultati i dati prelevati tramite Cerca.Vert sono intercalati con altre formule, e non so se il risultato in termini di lettura sarebbe lo stesso creando un'area per le 90 colonne da Cerca.Vert (sostituite con Indice) e altre 90 colonne con le formule.
Se delle 150mila righe un tot significativo fossero dati storici, cioe' che ricalcolati daranno sempre quel risultato, allora potresti anche pensare di storicizzare i risultati delle formule, cioe' salvare le celle come Valori e non piu' come formule, lasciando le formule alle righe di dati nuovi o non ancora assestati; questo ha un impatto sia sui MByte del file che sui tempi di elaborazione.
Ci fossero anche aree di foglio che vengono ricalcolate inutilmente (ad esempio perche cambiano i loro "precedenti", cioe' le aree da cui dipende il calcolo) allora si potrebbero sostituire in modo mirate quelle fomule (che si ricalcolano in continuazione) con una macro (che fa i dovuti calcoli magari solo una volta).
I bloccaggi in genere sono dovuti a tempi di rielaborazione eccessivamente lunghi; avendo la pazienza di aspettare (si ma quanto? Boh!) probabilmente alla fine ne verrebbe fuori; probabilmente.
Il frazionamento e' certamente una risposta, purtoppo si paga in termini di efficienza di gestione dei dati e analisi dei risultati.
Sono tutti discorsi vaghi, mancando la possibilita' di capire se quei risultati sono tutti utili cosi' come sono calcolati (troppi dati non analizzabili sono peggio che pochi dati ben analizzabili) non riesco a essere piu' utile.

Ciao
Avatar utente
Anthony47
Moderatore
 
Post: 19181
Iscritto il: 21/03/06 16:03
Località: Ivrea

Re: problema con foglio di calcolo da 150.000 righe di dati

Postdi nemoclipru » 05/10/16 07:51

Anthony, sei stato super preciso e molto specifico nella tua risposta. grazie davvero per il consulto.
Detta così effettivamente devo fare un restyling completo al foglio per alleggerirlo un po'....d'altra parte quando lo creai tempo addietro mi interessava solo il risultato e non l'efficienza di calcolo totale.
Comunque ora provo a modificarlo secondo le tue preziose direttive.
Grazie mille di tutto
nemoclipru
Newbie
 
Post: 8
Iscritto il: 30/09/16 21:43


Torna a Applicazioni Office Windows


Topic correlati a "problema con foglio di calcolo da 150.000 righe di dati":


Chi c’è in linea

Visitano il forum: Nessuno e 24 ospiti