甘さひかえめ
原材料欄を見ると、甘さひかえめの方には甘味料として「砂糖」と「アセスルファムK」が入っています。
砂糖は主成分がスクロース（ショ糖）でサトウキビなどを原料とする一般的な甘味料です。
アセスルファムKは人工甘味料の一つで、スクロースの200倍の甘さがあります。
ラベルにカロリーオフとあるのはアセスルファムKを加えることで砂糖由来のカロリーを減らしているからのようです。
甘さの程度は、ひかえめとある通り強い甘みではないですが、コーヒーの苦味を感じにくい程度には甘いコーヒーでした。
超甘さひかえめ
では、超甘さひかえめはというと、甘味料は「アセスルファムK」しか入っていません。
ラベルにあるカロリーゼロの理由は使用甘味料がアセスルファムKだけだからのようです。
甘さひかえめの方と比較すると、こちらはコーヒーの苦味をちゃんと感じられる程度の甘さに抑えられています。
ここでアセスルファムKについてですが、この甘味料はキシリトールと同様虫歯の原因になりにくい甘味料であるということです。
う蝕の原因とならない代用甘味料の利用法 | e-ヘルスネット（厚生労働省）
なので、一切砂糖の使用されていない「超甘さひかえめ」は虫歯の心配の少ない甘みの添加されたコーヒーなのではないでしょうか？
味については、アセスルファムKについて調べると、
ショ糖やエリスリトールやキシリトールと併用するとボディ感（コク・深み）が増す。フレーバーエンハンサー（風味強調剤）としての性質があり、チョコレート・コーヒー・ココア・紅茶などに微量添加すると、風味を引き立てる作用がある。
とあるように、砂糖も加えられている「甘さひかえめ」のほうが、奥行きがあって美味しい気がします。