פותח המזמור בלשון מיוחדת: "לַמְנַצֵּחַ לְדָוִד לְהַזְכִּיר" (תהילים ע', א). אומר רש"י: להזכיר - לשון תפילה, כמו "ואנחנו בשם ה' אלוהינו נזכיר". ויש אומרים: "להזכיר" - מלשון מזכרת, שהפרק הזה מהווה מזכרת מחייו של דוד אותה הוא מציב לנגדו גם כשיגיע לשעות טובות יותר. ויש שפרשו שמדובר בשעה שבה אבשלום מרד בדוד.
נאמר במדרש תהילים: "אמר רב חסדא: משל למלך שהיה לו צאן וכעס עליהם. גרש את הצאן והתיר את הדיר, והעביר את הרועה ממשרתו. אחר זמן, כינס את הצאן ובנה את הדיר - ולרועה לא הזכיר. אמר הרועה: הרי הצאן מכונסות, והדיר בנוי, ואני איני נזכר? כך אמר דוד למעלה מן המזמור (בסיום פרק ס"ט): "כי אלוהים יושיע ציון ויבנה ערי יהודה" - הרי הדיר בנוי, "וישבו שם וירשוה וזרע עבדיו ינחלוה, ואוהבי שמו ישכנו בה" - הרי הצאן מכונסות. ואני איני נזכר? פתח ואמר: "למנצח לדוד להזכיר"". כלומר, על פי המדרש: "להזכיר" - שאני קיים.
עוד נאמר במדרש: "אמר רבי אלעזר: אמר הקב"ה: בשכר שהם מזכירים אותי - אני מושיבן אצלי, שכל זמן שהן מזכירין אותי - מעי הומין עליהן, שנאמר: "הבן יקיר לי אפרים". אמר דוד: אם כך, אני מזכיר ותצילני!". דהיינו, התזכורת כאן היא לעורר רחמי שמים.
מעניין הוא ששני החכמים הללו, רב חסדא ורבי אלעזר, פועלים כל אחד לפי שמו. רבי אלעזר אומר: צריך לעזור לאלוהים לזכור, עלינו מוטל לעורר את רחמי ה'. לעומתו, רב חסדא הוא רב החסד, ורואה שאלוהים כבר התחיל בעשיית חסדו ואמיתו - בנה את הדיר וכינס את הצאן, אם כן יואיל נא להשלים חסד וישיב גם את הרועה.
ואולי זוהי מהותה של תפילה - להזכיר לאלוהים שאנחנו כאן. לא שיש שכחה לפני המקום חלילה, אך תמיד טוב להזכיר - שכן כאשר אני מזכיר את עצמי לזולתי - אני מזכיר שאני קיים. וכך, בכל בוקר אנו אומרים "מודה אני לפניך" - אם "אני" מודה, אם "אני" מתפלל, משמע ש"אני" קיים.