Чуть-чуть не так, у нас выгружают из ЛК за n период времени, к примеру за неделю какие были сделаны поверки, скачиваются файлы отсюда так же за n период времени, там не 4 гб, там мб 100 может в сумме, но при распаковке, да!, будет мб 300 весить, т.к поверок много по РФ, всё кладётся в папку, и с помощью макроса в exel , отфильтровываются данные по РФ, остаются только твоей организации, потом уже сравниваются из ЛК с данными отфильтрованными по РФ , добавляются столбцы "действительно до" и "тип СИ" и формируется файл для передачи уже в РА.
Ну и у макроса да, есть свои нюансы, не может прочитать csv файл больше 2 мил. строк, поэтому сделал скрипт на python который это всё отфильтровывает и формирует за секунд 10, надо только скачать все данные с Аршина и положить в папку. А проверки зачем, ну есть случаи когда кто-нибудь поверил в тот день когда передавали сведения, а дата поверки указана вне диапазона скачанного файла и получается, что при передаче его не будет, бывают такие случаи, поэтому сравнивается с базой ещё скаченной с РА, ну по РФ не будет этого свидетельства, потому что там обновление раз в день, это все единичные случаи, но такое бывает, поэтому такие проверки и придумал.
А как долго делается эта вся процедура? Я не пробовал данный метод вот и сравниваю, как быстрее.