Analyse de donnée trop lourd :-(

Hello tout le monde :slight_smile: ,

J’ai besoin d’aide s’il vous plaît.

J’aimerais faire une analyse de données sur une année. Je vous joins un exemple avec Janvier et Févirer.

Sur le fichier source, il y a les 12 mois et sa taille fait 11460 ko.

Tous les onglets ont la même structure : N° de Sac colonne A, Nombre d’utilisation colonne B.

J’essaie d’écrire un code pour analyser les données afin de savoir : (mais dépassement de capacité)

les mois où sont présents les sacs et leur nombre d’utilisation par mois,
Quel est le dernier mois où le sac est utilisé avec son nombre d’utilisation,
les sacs utilisés uniquement sur un mois et quel mois ainsi que leur nombre d’utilisation.

j’ai essayé de faire avec un fichier vierge pour appeler le fichier source pour le lire, mais il ne fonctionne pas non plus. J’ai peur que si je fais plusieurs étapes, les résultats ne soient pas fiables. Auriez-vous une idée ? :slight_smile:

image

testeForum.xlsm (1,3 Mo)

Bonjour Jhonny,
Si j’ai de temps livre à partir de 16H, je pourrais participer.

1 « J'aime »

Bonjour Johnny
Il ne faut pas trop demander à Excel
Certes c’est un tableur qui offre beaucoup de possibilité mais si il est très performant dans leur diversité il est limité quant à la quantité des données à traiter
Je parle d’expérience confronté à cette difficulté lors de mes activités professionnelles où je devais gérer la saisie l’intégration le croisement la restitution de beaucoup de celles-ci dans des domaines très différents à mettre en relation aux seins de tables informatiques et d’utiliser à cette fin les mondes sql access excel etc …
Pour de la saisie et présentation la plus intuitive excel n’a pas son pareil mais pour la gestion la mise en relation pour comparaison dès que ce monde à une certaine ampleur il devient très limité en puissance et d’être confronté à ta difficulté
Donc d’utiliser à cette fin la puissance d’access beaucoup mieux adapté à ce que tu cherches à réaliser

J’ai toujours eu cette approche et pour bénéficier des avantage de chacun de les mettre en relation chacun dans sa partie appropriée
Saisies et restitution excel manipulation gestion comparaison access

Sinon il faut revoir à la baisse ton objectif recherché à savoir pour les plus de 40 000 sacs par mois soit sur 12 mois 40 000 x 12 soit 480 000 sacs à traiter par le traitement n’envisager la récupération par celui-ci des données d’un sac à la fois ou voir un nombre d’entre eux limité qu’excel sera en mesure de gérer

Maintenant ce n’est que mon avis issus de mon expérience sur une domaine dans lequel j’ai baigné pendant 20 ans au moins

A toi de voir ou quelqu’un de proposer une autre perspective

1 « J'aime »

un essai avec la macro « johnny », il n’aura jamais 480.000 sacs à premier vue
testeForum.xlsm (2,3 Mo)

Hello :slight_smile:

merci à tous infiniment pour vos retours.

@FFO `j’ai regardé SQL (Structured Query Language) ; est-ce bien de cela que tu parles ? Est-il intégrable à Excel ? Je n’ai pas encore pris le temps de regarder en profondeur, mais je n’ai pas vu cette option.
Je te remercie d’élargir encore la vision des possibilités d’Excel :slight_smile:

@cow je te remercie grandement pour ta proposition qui a fonctionné en 7 secondes. :scream:

Je vais essayer de comprendre ta mise en place, mais je sèche sur la méthode. Il semble que tu aies aussi pris la bibliothèque.
C’est super, avec la structure maintenant il sera plus simple de trouver les réponses à l’analyse.

Merci beaucoup pour toute l’aide, je vous souhaite à tous un très bon week-end :slight_smile:

johnny

Est-il possible que j’abuse en poussant le bouchon plus loin ?

Pourrions-nous également faire en sorte de connaître la moyenne de sacs/commande (les commandes sont dans la colonne B) et par dépôt avec son N° colonne D ?

J’ai du suprimé des lignes pour l’envoyer pour la taille, chaque onglet a entre 200 et 230 milles lignes sur le fichier source

TesteFormunv1.xlsm (3,5 Mo)

Bonjour Johnny

Le monde Sql est le pendant de celui de VBA pour Excel mais dans l’univers oracle
Il permet de gérer toutes les données des tables informatiques qui appartiennent à celui-ci
On peut le piloter à partir d’Excel pour les récupérer ou pour les y intégrer
C’est ainsi que je gérais ces tables afin de bénéficier de la facilité de saisie qu’offre cette application accessible à n’importe quel utilisateur ce qui n’est pas le cas du monde Sql qui demande plus de pratique de connaissance et d’expérience car très particulier
Pour le croisement l’analyse la comparaison compte tenu de l’importance des sources et de leur contenu c’est le monde Access qui m’était d’un précieux secours car bien mieux conçu pour ce travail d’ampleur contrairement à Excel
Ce dernier était lui aussi pour la récupération des éléments à traiter en cheville avec Sql et aussi avec Excel pour la mise en forme de l’ensemble obtenu après traitement
Ainsi tout ces mondes était reliés les uns aux autres pour gérer des tables informatiques avec les compétences de chacun d’eux

Je viens de tester la proposition de Cow18 en réalisant 10 copie de l’onglet « Février » pour tester en réel les 12 mois de l’année effectivement le traitement en 4 seconde est effectué onglet « Résumé »
Reste à savoir si le résultat obtenu correspond à tes attentes
Si tel est le cas oubli ma suggestion d’utiliser les performances d’Access
C’est inutile dans cette perspective

La balle est dans ton camp pour la meilleure option à choisir

Toutes mes pensées

je ne comprend pas cette « moyenne ». Pouvez-vous me montrer quelque lignes avec le résultat voulu ?
TesteFormunv1.xlsm (3,6 Mo)

Hello Cow super, merci pour ton retour :slight_smile:

L’idée est de connaître la moyenne et de savoir combien de sacs/commandes une commande peut avoir : 3 sacs, 1 sac, 5 sacs moyenne de 3sacs/Commande

De savoir que la moyenne du besoin de sacs par commande au mensuelle.

Hello FFO, merci pour ton retour.

La proposition de Cow correspond bien au résultat souhaité :slight_smile: avec la structure pour effectuer les analyses afin de connaître la durée de vie, le nombre de réutilisations et les besoins mensuels.

Je pense qu’il va y avoir du sens à ce que j’étudie ton approche, car je vois peut-être la possibilité de pouvoir créer un programme d’analyse en pouvant changer les données.

Merci pour toute votre aide et votre soutien. :slight_smile:

Trés bon fin de dimanche
johnny

je ne connais pas grand chose de PQ, mais ce sont ce genre de questions qu’il aime !
Avec un dictionaire, cela prenait 100 sec, donc maintenant avec un TCD. Si vous voulez le nombre et la somme des sacs par mois, no problem.
TesteFormunv2.xlsm (1,4 Mo)
J’ai supprimé les lignes à partir de 10.000 parce que le fichier était >4 MB.

si on a 12 mois de +87.000 lignes > 1.048.000 lignes (=1 feuille) = trop !!!

Merci beaucoup pour votre retour. Cela es parfait.

Merci pour votre aide :slight_smile:

Je vous souhaite une trés bonne journée
Au plaisir

:slight_smile:

2 « J'aime »

Salut,
Désolé pour la réponse rapide, mais lorsque je traitais des très gros volume de données (plus d’1 millions de lignes, fichiers > à 50 Méga, on utilisait le format binaire (xlsb).

je sais, mais le format « xlsb » n’est pas supporté par le site.Un PJ en format "xlsb"

Bien dommage effectivement. Après, je ne sais pas si @Johnny utilise ce format ?

Bonjour Dibs,

Merci pour le retour et l’info. Non, effectivement, je n’ai jamais eu l’occasion de travailler avec ce format.

Je ne connais pas les fonctionnalités avec celui-ci.

Salutations
Johnny

1 « J'aime »