Keteguhan hati Abu Darda untuk hidup secara zuhud, kembali tampak saat Khalifah Umar bin Khatab. Pada suatu ketika, Umar bin Khatab menawarinya sebuah jabatan yang tinggi di Syam. Tanpa ragu sedikit pun, ia langsung menolaknya. 

Tatkala Umar marah, Abu Darda menyatakan bersedia bertugas ke Syam bukan sebagai pejabat tinggi, melainkan jadi guru yang mengajarkan Alquran, sunah, serta membimbing umat. Umar pun setuju.

Maka, berangkatlah Abu Darda ke Damaskus. Dia tidak hanya mengajar di masjid, tapi juga berkeliling ke tengah-tengah masyarakat, masuk ke pasar-pasar. Jika ada yang bertanya, dijawabnya segera, jika bertemu dengan orang bodoh, diajarinya, jika melihat orang lalai, diingatkannya. Abu Darda tidak mau kehilangan waktu sedikit pun dalam membimbing umat ke jalan Allah. 

Pada suatu hari, Abu Darda menyaksikan ada seorang laki-laki dipukuli orang banyak. Lalu, dia bertanya, “Apa yang terjadi?”

Dijelaskan bahwa laki-laki itu pendosa besar maka dipukuli. Dengan bijak, Abu Darda  bertanya, “Jika kalian melihat orang yang jatuh ke dalam sumur, apa yang akan kalian lakukan? Tidakkah kalian keluarkan dia dari sumur itu?”

Jawab mereka, “Tentu.”