Jekyll 的 SEO 优化

近来对博客主题、架构改进的热情明显高于写文章，略有本末倒置的意味。愧疚感驱使笔者写下最近为站点做的一些 SEO 优化：

• 爬虫保护
• 目录访问保护
• permalink

爬虫保护

万维网上的站点，都会被搜索引擎爬虫抓取内容，以之作为搜索结果列表。搜索引擎会依据站点根目录的 robots.txt 所定义的规则，去抓取当前站点的内容。

对于运行在 GitHub Pages 的站点，GitHub 会默认生成一个文件 robots.txt，内容为：

Sitemap: {SITE_URL}/sitemap.xml

其中 URL 表示站点 URL（如 https://example.com），该文件定义了 sitemap.xml 文件的位置。

为了指示爬虫 Bot 不去抓取某些图片、文件等静态资源，可以在 robots.txt 中新增自定义的参数。在站点根目录新建文件 robots.txt 即可覆盖 GitHub Pages 自动生成的默认版本。然后添加爬虫指令：

指定 robots 范围，通配符 * 表示对所有 robot 适用：

User-agent: *

指定禁止抓取的路径，请注意目录必须以 / 结尾：

Disallow: /target_dir/            # 禁止目录
Disallow: /targer_file.extension  # 禁止文件

看了相关资料介绍，因为 robots.txt 文件是可以被直接访问的，所以在文件中直接列出具体目录，会暴露网站的目录结构，所以根据建议，在根目录建一个专门对 Bots 隐藏的目录 /norobots/，将所有需要隐藏的零碎文件、目录等挪到里面即可。

笔者的指令为：

Disallow: /assets/    # /assets/ 是常规资源目录，不怕暴露路径
Disallow: /norobots/  # 零碎敏感文件、目录等放置在此

此时浏览器直接访问站点 {SITE_URL}/norobots/ 还是可以看到文件列表的，达不到隐藏站点目录结构的目的，下文再作保护介绍。

最后要指定 Sitemap 的文件路径：

Sitemap: https://cotes.page/sitemap.xml

如果更换了域名，就要手动的更改 Sitemap 地址。此时可以使用 Jekyll 的全局配置变量取代硬编码：

robots.txt 文件顶部添加 Jekyll 的 Front Matter：

---
layout: null
---

然后 Sitemap 的值可修改为：

Sitemap: {{ site.url }}/sitemap.xml

这样域名就会随着 _config.yml 自动更改了。

完整的 robots.txt 内容如下：

---
layout: null
permalink: robots.txt
---

User-agent: *

Disallow: /assts/
Disallow: /norobots/

Sitemap: {{ site.url }}/sitemap.xml

Jekyll 目录保护

出于安全考虑，站点的某些目录结构，譬如上文提到的 /norobots/，不希望被外部访问，所以需要使用重定向来保护目录。 部署在 GitHub 上的 Jekyll 站点，Apache Web Server 的 .htaccess 重定向规则会被无视（详见官方介绍)，所以可以使用 GitHub 推荐的 Jekyll 重定向插件 Jekyll Redirect From。

GitHub Pages 默认支持该插件，在项目的 Gemfile 里添加引用：

gem "jekyll-redirect-from"

接着运行 bundle 命令安装插件，安装完成后，在站点 404 页面的 YAML 头部添加跳转规则：

---
redirect_from:
  - /norobots/
---

具体的目录可以更具自己站点的实际情况定义，按照上述定义，访问 {SITE_URL}/norobots/ 会直接返回 404 页面，从而保护了敏感目录。

Permalink 优化

Permalink 是 "Permanent link" 的缩写，意为「永久链接」，即浏览器访问站点资源的完整路径地址。对于 SEO 而言，越短越精简的 permalink 越容易被发现及提高排名。

Jekyll 理所当然的有对 permalink 提供模版支持。如果 page 的 permalink 没有定义，则默认值为：

permalink: /:categories/:year/:month/:day/:title:output_ext

详细的 permalink 可选值请参考 Jekyll 的 Permalink 介绍。

如本文，默认 permalink 是：https://cotes.page/tech/website/2018/10/30/the-seo-to-jekyll.html，很长的一串，对吧。SEO 建议 permalink 长度不超过 90 个字符，目录层次不超过 3 层，所以为了精简 permalink，计划去掉 categories，year，month，day，output_ext。

为了全局生效，在站点根目录 _config.yml 文件添加对 permalink 的赋值：

permalink: /:title/

上述变量表示：文件站内链接格式为 /{{ page.title }}/，隐藏了静态文件的后缀，如 .html。在末尾加 / 是为了区分带扩展名的访问：若 permalink 定义为 /:title，访问 /:title:output_ext 是被允许的。

精简后，本文链接地址为：https://cotes.page/the-seo-to-jekyll/，有效提高了 SEO 表现。

过程中曾担心只剩 :title 会不会引起文件名重叠，后来细想一下，post 的标题都是短句，重复的机率很小，万一真有重名，可以在文件名末端添加数字区分。

值得一提的是，博客内部原有的带 .html 后缀的跳转 URL 也要相应修改，即：{SITE_URL}/path/to/post.html 修改为 {SIET_URL}/path/to/post/，需要付出一定的时间去细心校验。

结语

本文只是对建站动态的阶段性小结，SEO 的玩法远不止这些，有兴趣可以自行查找更多资料。

参考链接

• SEO Learning Center: Robots.txt