아주 쉽습니다. 아래와 같이 맨처음에 있는 설정 부분에서 output: github_document이라고 변경하시면 됩니다.

---
title: "Habits"
author: John Doe
date: March 22, 2005
output: github_document
---

다음 링크를 참고하세요

GitHub Documents