דרוש פרילנסר מומחה לפיתוח קרוולר שיאסוף כתובות URL לטבלה בSQL

אני מעוניין לבנות קרוולר שסוקר את האינטרנט ומחפש אחר דפי אינטרנט בעלי מאפיין מסויים.

תוצר העבודה של הקרוולר הוא רשימת כתובות URL כגון הדוגמא לעיל בטבלה של DB מסוג SQL

(לא my sql)

הקרוולר מיועד לשבת על שרת ווינדוס (אם אין ברירה אפשר גם לינוקס)

וצריך לאפשר לאפליקציה אחרת לגשת לטבלה ולמשוך ממנה נתונים.

הקרוולר אמור לעבוד ללא הפסקה ובשלב ראשוני ולסרק אתרים רק בעברית ובאנגלית.

להפעלה אני מזין לו כתובת של אתר אחד ומשם הוא ממשיך הלאה דרך כל הקישורים החיצוניים שהוא נתקל בהם וכן הלאה וכן הלאה.