Parallelized cyber reconnaissance automation: A real-time and scheduled security scanner

Abstract

The extraordinary advancement of technology has increased the importance of achieving the required level of information security, which is still difficult to achieve. Recently, network and web application attacks have occurred frequently, causing confidential data to be stolen by the available vulnerabilities in the systems. The most prominent reason behind the attacks is open ports with vulnerable services. This causes the CIA (Confidentiality, Integrity, and Availability) Triad Model to break. Penetration testing is one of the key techniques used in real life to accurately detect possible threats and potential attacks against the system, and the first step for hackers to conduct attacks is information collection. In this work, with the aim of relieving real-world concerns, we present a useful schema for the active information-gathering phase that can be used during penetration testing and by system administrators. It will be the first feature of a security engine to be implemented. It is an automated security scanner based on parallelization. It supports real-time and scheduled system scans in parallel in the phase of active information gathering based on not only a RESTful API allowing easy integration for real-life cases, but also a Network Mapper (Nmap) to collect the information with high accuracy depending on the provided rules in our schema. With the integration of the message-broker software (RabbitMQ) that originally implemented the advanced message queuing protocol (AMQP), the user has the ability to create instant customized scans and check the related results. These features depend on Celery workers using an asynchronous task queue, which is reliant on distributed message passing to perform multiprocessing and concurrent execution of tasks. The system can be used by penetration testers, IT departments, and system administrators to monitor their systems and grant high security and instant alarms on critical threats. An automated IP and port scanning, service-version enumeration, and security vulnerability detection system are the core of the proposed scheme project. The accuracy and efficiency of this technique have been demonstrated through a variety of test cases based on real-world events. The average time of scanning a server and detecting vulnerabilities is 1.7 minutes. Regardless of the number of vulnerabilities, the increase in time for each open port is just about 12 seconds. The average run time for scanning the 20 distinct servers that we have used as test cases is 35 minutes, and with the power of parallelization, we could decrease the elapsed time by 90.80\% to 4 minutes.Teknolojinin olağanüstü gelişimi, hala ulaşılması zor olan gerekli bilgi güvenliği düzeyine ulaşmanın önemini arttırmıştır. Son zamanlarda, ağ ve web uygulaması saldırıları sıklıkla meydana gelmekte ve sistemlerdeki mevcut güvenlik açıkları tarafından gizli verilerin çalınmasına neden olmaktadır. Saldırıların arkasındaki en dikkat çeken neden, savunmasız servislere sahip açık portlardır. Bu, CIA (Gizlilik, Bütünlük ve Kullanılabilirlik) Üçlü Modelinin kırılmasına neden olur. Sızma testi, sisteme yönelik olası tehditleri ve potansiyel saldırıları doğru bir şekilde tespit etmek için gerçek hayatta kullanılan temel tekniklerden biridir ve bilgisayar korsanlarının saldırı gerçekleştirmesinin ilk adımı bilgi toplamadır. Bu çalışmada, gerçek dünyadaki sorunları gidermek amacıyla, sızma testi sırasında ve sistem yöneticileri tarafından kullanılabilecek aktif bilgi-toplama aşaması için faydalı bir şema sunuyoruz. Uygulanacak bir güvenlik motorunun ilk özelliği olacak. Paralelleştirmeye dayalı otomatik bir güvenlik tarayıcısıdır. Şemamızda sağlanan kurallara bağlı olarak, yalnızca gerçek hayattaki durumlar için kolay entegrasyon sağlayan bir RESTful API'ye değil, aynı zamanda duruma bağlı olarak bilgileri yüksek doğrulukla toplamak için Nmap dayalı aktif bilgi toplama aşamasında paralel olarak gerçek zamanlı ve planlı sistem taramalarını destekler. Başlangıçta gelişmiş mesaj kuyruklama protokolünü (AMQP) uygulayan message broker yazılımının (RabbitMQ) entegrasyonu ile birlikte kullanıcı, anında özelleştirilmiş taramalar oluşturma ve ilgili sonuçları kontrol etme yeteneğine sahiptir. Bu özellikler, Celery Workers'in, çoklu işlem ve görevlerin eşzamanlı yürütülmesini gerçekleştirmek için dağıtılmış ileti geçişine dayanan, eşzamansız bir görev kuyruğu kullanmasına bağlıdır. Sistem sızma test uzmanları, BT departmanları ve sistem yöneticileri tarafından sistemlerini izlemek ve kritik tehditlere karşı yüksek güvenlik ve anlık alarmlar vermek için kullanılabilir. Otomatik bir IP ve port taraması, servis-versiyon ve güvenlik açığı tespit sistemi, önerilen şema projesinin çekirdeğini oluşturur. Bu tekniğin doğruluğu ve etkinliği, gerçek dünya olaylarına dayanan çeşitli test senaryolarıyla kanıtlanmıştır. Bir sunucuyu taramanın ve güvenlik açıklarını tespit etmenin ortalama süresi 1,7 dakikadır. Güvenlik açıklarının sayısından bağımsız olarak, her bir açık port için süre artışı sadece yaklaşık 12 saniyedir. Test senaryosu olarak kullandığımız 20 farklı sunucuyu taramak için ortalama çalışma süresi 35 dakika olup, paralelleştirmenin gücü ile geçen süreyi \%90,80 oranında azaltarak 4 dakikaya indirebildik.