Джерело:
Хабрахабр / Захабренные / Тематические / Посты
Дата публікації:
09/10/2019 22:33
Постійна адреса новини:
http://www.vsinovyny.com/6283242
[Перевод] Обработка 40 ТБ кода из 10 млн проектов на выделенном сервере с Go за $100
09/10/2019 22:33 // Хабрахабр / Захабренные / Тематические / Посты
Написанной мной инструмент командной строки Sloc Cloc and Code (scc), который теперь доработан и поддерживается многими отличными людьми, подсчитывает строки кода, комментарии и оценивает сложность файлов внутри каталога. Здесь нужна хорошая выборка. Инструмент подсчитывает в коде операторы ветвления. Но что такое сложность? Например, заявление «У этого файла сложность 10» не очень полезно без контекста. Чтобы решить эту проблему, я запустил scc на всех исходниках в интернете. Это также позволит найти какие-то крайние случаи, которые я не рассматривал в самом инструменте. Мощное испытание методом грубой силы.
Но если я собираюсь запустить тест на всех исходниках в мире, это потребует много вычислительных ресурсов, что тоже интересный опыт. Поэтому я решил всё записать — так и появилась эта статья.
Короче говоря, я загрузил и обработал много исходников.
Голые цифры:
- 9 985 051 репозиториев всего
- 9 100 083 репозитория хотя бы с одним файлом
- 884 968 пустых репозиториев (без файлов)
- 3 500 000 000 файлов во всех репозиториях
- Обработано 40 736 530 379 778 байт (40 ТБ)
- Идентифицировано 1 086 723 618 560 строк
- Распознано 816 822 273 469 строк с кодом
- 124 382 152 510 пустых строк
- 145 519 192 581 строк комментариев
- Общая сложность по правилам scc: 71 884 867 919
- 2 новые ошибки, найденные в scc
| « |
Наступна новина з архіву Названа "алкогольная" причина появления прыщей |
Попередня новина з архіву Beijing Takes Aim at Prague After ‘One-China’ Dispute Deepens |
» | |
|
|
||||