######################################### # robots.txt for http://www.sebje.nl/ # # # # robots.txt,v 1.1 # # 2005/01/17 21:41:23 init # ######################################### ################################################################ # Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp # # uitsluiten lj1033.inktomisearch.com # ################################################################ User-agent: Slurp Disallow: / ################################################################ # Jyxobot/1 # # Onbekende bot, uit sjechie (server13.streaming.cesnet.cz) # ################################################################ User-agent: Jyxobot/1 Disallow: / ################################################################################# # Vagabondo/2.2; webcrawler at wise-guys dot nl; http://webagent.wise-guys.nl/ # # vagabondo.wise-guys.nl # ################################################################################# User-agent: Vagabondo Disallow: / ################################################################### # 2005-07-22 @ 15:48:00 # # findlinks/0.945 (+http://wortschatz.uni-leipzig.de/findlinks/) # # http://wortschatz.uni-leipzig.de # ################################################################### User-agent: FindLinks Disallow: / # EXAMPLES ######################################################## # W3C Link checker # User-agent: W3C-checklink # Disallow: #exclude some access-controlled areas #User-agent: * #Disallow: /Team #Disallow: /Project #Disallow: /Systems