文章歷程: 2020

2020

10

14

pyspark系列-如何使用pyspark連結clickhouse教學

本文將簡單的示範如何在 pyspark 中對 clickhouse 進行讀取的動作。

2020-10-14 pyspark

pyspark

14

pyspark系列-如何使用pyspark連結kafka教學

本文將簡單的示範如何在 pyspark 中對 kafka 進行讀取與寫入的動作。

2020-10-14 pyspark

pyspark

08

登山系列-玉山一日單攻(主峰)攻略&紀錄

登上玉山的計畫從2020/03就開始了，但一路上可以的時間都一直抽不到簽，超級沒有籤運，與排雲山莊非常的沒有緣分，後來就開始改抽玉山單攻，很幸運的在8月改制後(先搶先贏改成電腦選)就中籤了，由於當初在網路上很多資料其實有點舊了，所以希望寫一篇來紀錄一下！

2020-10-08 登山系列

玉山單攻登山

08

23

Django 系列- 如何在 template 以及 view.py 中獲取當下/前一頁頁面的url?

在 Django 中常常有獲取當下頁或是前一頁面網址 (url)的需求，例如輸入表單後的頁面重導、404頁面的重導。這個部分在 template 中以及 view.py 中都可以靠著 request 獲取資訊，我們就來看下去吧！

2020-08-23 Django

django

23

Django 系列- 如何在清單中截斷、縮短(truncatechars)顯示的文章文字?

在顯示部落格的文章清單時常常會有顯示每篇文章開頭的簡短文字需求，而在 Django 中該如何實現？內建的 `truncatechars` 將會是你的好朋友！

2020-08-23 Django

django filters

07

06

Python 系列- 如何乾淨移除網址url中的追蹤碼?

在處理跟網址相關的程式的時候大家應該都會有一個困擾，明明就都會導到一樣的網址，但是網址卻都不一樣，因為後面帶了各式各樣的來源追蹤碼追蹤網站流量，最常見的就是 GA UTM 以及 facebook 的追蹤 tag 了，這樣會導致計算流量時重複計算的困擾，此篇小記事就是來解決這個問題的拉！

2020-07-06 Python

urlparse python utm

06

14

GCP 系列-新增/啟動 Dataproc clusters 時帶入多個 properties 套件

本範例將會簡單示範如何在啟動 Dataproc cluster 語法中的`properties` 參數帶入多個不同套件，例如同時需要使用監控的 `stackdriver`、`kafka`以及`clickhouse`三個不同的套件，在 submit job 的時候就可以自動地帶入相關套件。

2020-06-14 GCP

GCP Dataproc

04

pyspark系列-如何於 dataframe 增加索引(index)值或 row number

本範例將會示範如何在 pyspark dataframe 中加入 index 號碼。將會簡單的使用 Window 這個 lib 搭配 pyspark.sql.functions 中的 row_number 來進行操作。

2020-06-04 pyspark

pyspark

04

pyspark系列-字串轉時間格式 string to datetime or timestamp

本範例將會示範如何在 pyspark 中使用 to_date 方法將時間字串轉成 datetime 格式以及 unix_timestamp 方法轉 timestamp 格式。

2020-06-04 pyspark

pyspark

05

25

GCP Cloud DNS & letsencrypt 的 ssl 憑證申請與續期

本教程將會簡單講述如何在 GCP 的環境中更新網頁的 ssl 憑證(免費的 letsencrypt)，此範例僅適用於將 dns 交由 GCP Cloud DNS 託管的情況下。

2020-05-25 GCP

GCP SSL certbot letsencrypt DNS