Smej, doma iz Bogojine, je bil za mašnika posvečen leta 1944 in je najprej deloval kot kaplan v Dokležovju, Dobrovniku in Turnišču. Nato je bil najprej kaplan ter pozneje župnik in dekan v Murski Soboti, leta 1969 pa se je preselil v Maribor, kjer je med drugim opravljal službo stolnega kanonika, člana zbora škofovih svetovalcev, naddekana, stolnega prošta mariborskega stolnega kapitlja in generalnega vikarja.
Za mariborskega pomožnega škofa je bil posvečen maja 1983, junija 2009 pa se je upokojil. Od tedaj je bival v Mariboru ter zadnja leta v Domu sv. Lenarta v Lenartu v Slovenskih Goricah.
Življenjsko delo škofa Smeja je obsežno in vsestransko, saj se je poleg duhovniške in škofovske službe ukvarjal tudi s pesnjenjem, pisateljevanjem, prevajanjem in preučevanjem cerkvene zgodovine, so zapisali v Slovenski škofovski konferenci. Bibliografija njegovih del obsega več kot 150 enot, med katerimi so v veliki meri samostojne knjižne publikacije.
Leta 2016 mu je predsednik republike Borut Pahor podelil državno odlikovanje red za zasluge za življenjsko delo in bogat prispevek k duhovni nacionalni kulturi Slovencev. Zaradi poznavanja madžarske literature ter prevodov klasičnih romanov iz 19. in 20. stoletja iz madžarščine v slovenščino je leto prej prejel tudi visoko madžarsko državno odlikovanje madžarski zlati križ za zasluge.
Bil je častni občan Maribora, o njegovem življenju in delu pa priča tudi leta 2016 posneti dokumentarno-igrani film Kaplja na vedru.
Pogreb bo v torek ob 15. uri v Bogojini, zaradi izrednih razmer v ožjem krogu. Verniki ga bodo lahko spremljali preko neposrednega prenosa na Radiu Ognjišče, so sporočili iz Slovenske škofovske konference. Ko bodo izredne razmere odpravljene, bodo pripravili tudi spominsko slovesnost.