User-agent: *
Disallow: /*?
Allow: /templates/ # Ex. /templates/cncshop/css/template.min.css?v=XXXXXX
Allow: /media/     # Ex. /media/jui/js/jquery.min.js?XXXXXXXXXXXX
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Allow: /components/*.js$
Allow: /components/*.css$
Allow: /components/*.jpg$
Allow: /components/*.JPG$
Allow: /components/*.jpeg$
Allow: /components/*.JPEG$
Allow: /components/*.png$
Allow: /components/*.PNG$
Allow: /components/*.gif$
Allow: /components/*.GIF$
Allow: /modules/*.js$
Allow: /modules/*.css$
Allow: /modules/*.jpg$
Allow: /modules/*.JPG$
Allow: /modules/*.jpeg$
Allow: /modules/*.JPEG$
Allow: /modules/*.png$
Allow: /modules/*.PNG$
Allow: /modules/*.gif$
Allow: /modules/*.GIF$
Allow: /plugins/*.js$
Allow: /plugins/*.css$
Allow: /plugins/*.jpg$
Allow: /plugins/*.JPG$
Allow: /plugins/*.jpeg$
Allow: /plugins/*.JPEG$
Allow: /plugins/*.png$
Allow: /plugins/*.PNG$
Allow: /plugins/*.gif$
Allow: /plugins/*.GIF$
Disallow: /checkout
Disallow: /quickcheckout
Disallow: /search
Disallow: /user
Disallow: /component/
Disallow: /category/
Disallow: /files/*.rar$
Disallow: /files/*.zip$
# Разрешаем некоторые URL, которые регулярно индексируются Google, несмотря
# на блокировку в robots.txt, а для запрета индексирования устанавливаем
# в ответе мета-тег robots, HTTP-заголовок X-Robots-Tag или URL не будут
# индексироваться из-за тега canonical.
Allow: /product/ajax_attrib_select_and_price
Allow: /cart/add
Host: https://cnc-tehnologi.ru
Sitemap: https://cnc-tehnologi.ru/sitemap-xml
Clean-param: adv
Clean-param: coef_goal_context
Clean-param: etext