PowerBI connectivity / conversion issue

Hi Lundstrom, what connection mode are you using? Import or DirectQuery? I am trying to reproduce the issue however with the data I am using, Power BI Desktop is loading the rows that do not have special characters, the rows with special characters are not loaded and no error is displayed. Can you provide a short string from your table in Vertica that contains the special characters to further investigate? Thank you

Hi, sorry for late answer. They are using directquery. This is how it looks using SQuirrel:

＃keisandeath ワンマンライブ６/２３（土）16:30．19:00スタート\n四谷LOTUS https://t.co/VohHgUkEOj
調子いい Foster The People/Lotus Eater https://t.co/eT8d7VRwgN
焦点：ダイムラー筆頭株主に躍り出た中国吉利の「秘密工作」 | Article [AMP] | Reuters https://t.co/egLuZXV0fQ
東方原曲　幻想郷　５面テーマ　Lotus Love https://t.co/Ahh8qZ108N @YouTubeさんから
東京の出張マッサージの☆ロータススタイル☆は極上のアロママッサージ、タイ式マッサージなどあらゆるマッサージを体験できます。＃出張のマッサージ＃メンズ専用エステhttps://t.co/aVzqrhtPcf
【英単語】「Sombrero（ソンブレロ。メキシコの帽子）」⇒【関連ポケモン】●No271：ハスブレロ　●英語名：Lombre　●他：「Lotus（蓮）」「Umbrella（傘）」も覚えよう　●https://t.co/eADUjkcgt3
【拡散希望】友達が譲り先探してます。DVD☞風景(国立)　CD☞「Lotus」「果てない空」「DearSnow」「迷宮ラブソング」(すべて初回)　こちらすべて定価だそうです。欲しいという方はリプまたはDMくださると嬉しいです。わたし
RT @ton_aya_hand: AmavelさんでLotus Ribbonの作品の販売が決定したことを記念して\nこのツイートをRT＆フォローしていただいた方の中から抽選で3名様に\n\n大人気ツインテールリボンバレッタSをおひとつプレゼント🎁✨\n\n詳細は1枚目�
RT @ton_aya_hand: AmavelさんでLotus Ribbonの作品の販売が決定したことを記念して\nこのツイートをRT＆フォローしていただいた方の中から抽選で3名様に\n\n大人気ツインテールリボンバレッタSをおひとつプレゼント🎁✨\n\n詳細は1枚目�
RT @sakohataaya: 【現状ライブ予定】\n\n⭐️MAZICSTAR ❤️迫畠彩\n\n《3月》\n⭐️27日 大塚Hearts+\n\n《4月》\n❤️1日 池袋RUIDO K3(歌姫乱舞)\n⭐️5日 渋谷RUIDO K2(秀樹生誕)\n❤10日 池袋RUIDO K3\n\n《5月》…
RT @playatuner: 『俺がまだ駆け出しだった頃は他のアーティストを意識しすぎたり、真似をしたりしてたんだ。\n\nいつも「次は◯◯が来る」とか意識してたのが良くなかった』\n\nhttps://t.co/RAKuCusAdc
RT @KTrac_official: 4月のライブ情報\n\n4月5日 渋谷STAR LOUNGE\n4月10日 目黒ライブステーション\n4月16日 渋谷aube\n4月24日 四谷 LOTUS\n\n取り置きはDM又はリプにてお願い致します。\n\n#ケートラ
RT @iltan1210: 【3月16日OTONOVA】\n四ツ谷LOTUS、勝てば初台doorsセミファイナル❗️\nご来場&投票お願いします💕\n18:30に歌唱順くじ引きあります✨\n物販含め22時までやってますのでぜひ投票来てください😭来場特典用意します💕
RT @HQ_kiti: 震災で亡くなった嵐ファンは｢Lotus｣が永遠の新曲……10枚目のアルバムのBeautiful Worldを知らない……翔くんの謎ディも、潤くんのラッキーセブンも、相葉くんの三毛猫ホームズも、智くんの鍵のかかった部屋も、�
RT @hisamaru300: 起きたら隣にウチのVOLVOいた（´<_｀　）\n\n左側ぶつけられたVOLVO\n\n右側ぶつけられたスーパーグレート\n\n今日は同じ積み地だってyo https://t.co/CTUkF32Ymv
RT @daitojimari: これ日本企業も注意が必要であるとともに、法整備も必要 ■焦点：ダイムラー筆頭株主に躍り出た中国吉利の「秘密工作」 https://t.co/CFetASh8Ki
RT @daitojimari: これ日本企業も注意が必要であるとともに、法整備も必要 ■焦点：ダイムラー筆頭株主に躍り出た中国吉利の「秘密工作」 https://t.co/CFetASh8Ki
RT @chee_tara___67: 2011.3.11☞☞あれから7年｡\n午後2時46分。 \n最後のシングルLotus…\nこの曲を聞くと涙が出る…\n#東日本大震災 https://t.co/ms8MRskTPs
Lotusこれで二つ目かな。Zeta UV41とそんな変わらん気がする。むしろ撥水撥油効果の方がありがたい。
lotus elise S - ニコニコ動画 https://t.co/hyQN7RI8WO
3.11に亡くなった嵐ファンの永遠の新曲｢Lotus｣\n歌詞が意味深。まるで震災で亡くなった人のことを歌ったような内容\n#嵐\n#東日本大地震 https://t.co/rQedNkexny

keisandeath ワンマンライブ ６/２３（土）16:30．19:00スタート\n四谷LOTUS アクセス https://t.co/VohHgUkEOj … https://t.co/g7wrbejIfv

@motaro_wins そもそも今の構築にlotusもpearlも入ってないので…やっぱりプロキシ使うと構築の幅に大きく制限かかるのよね
@motaro_wins stony silenceがメインに1本入ってるのと、ブン回り期待ならlotusとpearlも入れないと期待値的に良くないので、一貫性大事ってことで
[アメブロ更新]花粉がひどいです - ボルボ・カーズ湘南のブログ https://t.co/ypNgjRsQNl #ametwi

Seems to be japanese characters that get garbled using PowerBI.

Regards,
Mattias

Hi Mattias,

Have you managed to solve this problem or find a workaround?
One of our customers is having the same error with Qlikview (ODBC) but in their case they loaded a non utf8 encoded file in the database and when they query it via Qlikview they get the error
[Vertica][Support] (50310) Unrecognized ICU conversion error.

However JDBC manages to substitute invalid characters with a replacement character: � without throwing an error.
I'm looking for a workaround to have the same behaviour as a JDBC client (obviously the correct way to solve this would be to change the file encoding to UTF8 and reload the data but that is not possible for the moment)

Regards,
Chaima

Hi Chaima, can you provide a sample of the data that is throwing that error in Qlikview? we have not been able to reproduce the issue in house, the data we have received so far do not have any problematic unicode characters.

Hi, to reproduce this you can load a non utf8 encoded file containing letters with accents:
[dbadmin@bchaima1 ~]$ cat test_odbc.csv
garçon
café
château
Noël
été
Change the file encoding:
[dbadmin@bchaima1 ~]$ iconv -f utf-8 -t ISO88599 test_odbc.csv> test_odbc_ansi.csv
Load the data
[dbadmin@bchaima1 ~]$ vsql
dbadmin=> CREATE TABLE TEST_ODBC (col varchar(10));
dbadmin=> COPY TEST_ODBC FROM '/home/dbadmin/test_odbc_ansi.csv';

Using DbVisualizer we get to see the data, JDBC manages to substitute invalid characters with a replacement character: � without throwing an error. This is the behavior I'm trying to get with ODBC
select * from TEST_ODBC;
col
No�l
�t�
gar�on
caf�
ch�teau

Via ODBC, I get this error:
[Vertica][Support] (50310) Unrecognized ICU conversion error. (50310)

Thanks

Hi Chaima, thank you for the steps to reproduce the issue.

We tested isql and the ODBC driver is working correctly. The ODBC driver is able to display non-UTF-8 characters as unknown (question mark or a box) and no errors are thrown.
Power BI on the other hand is not able to interpret non-UTF8 characters and crashes with an error ((50310) Unrecognized ICU conversion error). We reproduced the issue also in Excel’s Microsoft Query tool and we have sent an email to our contact at Microsoft to get their input.

Is there a reason why you need to store your data using a non-UTF-8 encoding?
All data in Vertica MUST be stored using UTF-8 encoding as described in the official documentation.

I'm surprised we are allowing none UTF-8 characters in Vertica, as far I as know those rows should have been rejected. I have another customer with similar issues, where the query fails because none UTF-8 data.

You can load string that are not in UTF-8 format. Luckily we have the ISUTF8 function that can verify that all of the string-based data in the table is in UTF-8 format.

See:
https://my.vertica.com/docs/9.0.x/HTML/index.htm#Authoring/AdministratorsGuide/BulkLoadCOPY/CheckingDataFormatBeforeOrAfterLoading.htm

https://my.vertica.com/docs/9.0.x/HTML/index.htm#Authoring/SQLReferenceManual/Functions/String/ISUTF8.htm

Thanks @nrodriguez for getting back to me. I guess that this is related to windows platfrom ODBC only then, Do you mind sharing with me your unix odbc driver settings? I would really appreciate it
When i tested this with isql I get the following:
SQL> select * from wrong_encoding;
+-----------+
| a |
+-----------+
| ERROR |
| test |
| ERROR |
+-----------+

As per your question, one of our customers is having this issue, they're well aware that vertica only supports UTF-8 encoding, but they're looking for a temporary workaround until they get to reload the data wth the correct encoding.

Please let me know if Microsoft gets a response from microsoft.

Thanks