લગભગ દરેક સર્ચ એન્જીન વર્લ્ડ વાઈડ વેબને વ્યવસ્થિત રીતે બ્રાઉઝ કરવા અને તેને લોકલ રીપોઝીટરીમાં ઇન્ડેક્સ કરવા માટે _______ નામના પ્રોગ્રામ અથવા સ્વચાલિત સ્ક્રિપ્ટનો ઉપયોગ કરે છે.