שירתו הדתית של יוסף צבי רימון הקדימה את זמנה, ולא תמיד ידעו איך לקבל אותה. בשיר 'היתה נפשי צמאה לשירה' מתכתב המשורר עם מזמור מ"ב בתהילים. בשירתו רימון אינו מתפלמס עם הכתובים, אלא מתחבר אליהם. רימון מתאר את כמיהתו לשירה ולחיבור לה'.