La causa è molto semplice : manca il collegamento alla terra nella presa della corrente a cui è collegato il PC oppure il cavo di collegamento tra il PC e la presa non ha il cavo di terra o la qualità della terra è inadeguata.
Nell' alimentatore del PC (come in moltissimi altri apparecchi), all' ingresso della tensione di rete è posto un filtro che ha la funzione di abbattere le componenti ad alta frequenza (filtro EMC) prodotte dall' alimentatore stesso. Una parte del filtro è costituita da una coppia di condensatori che hanno lo scopo di indirizzare verso la terra le correnti ad alta  frequenza. Si ricorda che nel PC, la terra è collegata alle masse metalliche dello chassis e funge da massa-schermo per i cavi entranti e uscenti dal computer : mancando un valido collegamento alla terra, una piccola corrente a frequenza di rete passa comunque attraverso i condensatori del filtro che sono collegati alla terra-massa comune e, quando si toccano queste parti metalliche, si ha la sensazione tipica della presenza di tensione alternata.

Si tratta, sfortunatamente, di una situazione tutt'altro che rara, a cui occorre porre rimedio con la massima celerità, in quanto è estremamente pericolosa.

Infatti, se uno dei condensatori di filtro va in corto circuito o si verifica un contatto tra una parte sotto tensione e la carcassa metallica dell' alimentatore, questa si trova collegata alla tensione di rete; se la terra fosse presente, si verificherebbe una condizione anomala per i sistemi di sicurezza dell' impianto elettrico, con almeno lo scatto dell' interruttore salvavita. Anche se il salvavita non fosse sfortunatamente installato in quell' impianto, la connessione a terra porterebbe a scaricarsi la tensione su un circuito con resistenza inferiore a quella del corpo umano in un contatto accidentale.

Se la terra è assente o di cattiva qualità, questo non avviene e chiunque toccasse la carcassa dell' apparecchio riceverebbe una scarica, con ampia possibilità di essere mortale. 

Soluzione

Basta disporre di una buona terra !!!
Se esiste, verificate che sia operativa; in un condominio, avvisate prontamente l' amministratore per avere una verifica.

Se l' impianto non la prevede, affrettarsi a porre rimedio, sia perchè l' assenza della terra è contraria alle leggi sulla sicurezza degli impianti elettrici, sia perchè solo un irresponsabile continuerebbe a lavorare conoscendo il rischio delle condizioni in cui si trova.

Va fatto ben presente che, se manca la terra nell' impianto, sono a rischio mortale ben maggiore del PC tutti gli elettrodomestici, sopratutto quelli in cui è presente acqua o umidità, dal frigorifero alla lavatrice.  Continuereste in queste condizioni col rischio di ricevere una scossa o veder fulminati i vostri famigliari ?

Ma si sente solo una leggera tensione ....
Certamente, ma solo perchè non ci sono condizioni di guasto in corso (per vostra fortuna...) ! 
Preferite aspettare che si verifichino e poi, se sopravvissuti, darsi da fare ? 

Oltre al rischio, si ricorda che mancando la terra, i filtri EMC sono praticamente inefficaci e manca completamente un piano di massa-schermo a potenziale neutro, esponendo il PC ad una ampia possibilità di guasti, sia all' alimentatore, sia alle altre componenti, dovuti a problemi sulla rete, temporali, collegamenti con linee telefoniche, ecc.

La connessione a terra è facilmente realizzabile da chiunque e con una spesa minima. Si consiglia vivamente di installare anche un salvavita, che rende veramente sicura la presenza dell' elettricità in casa.
Se poi ritenete che la vostra vita valga meno del lavoro per mettere in regola il vostro impianto elettrico, allora non c'è altro da dire.

Nota

E' capitato di sentire la voce di un "tennico esperto" che diceva :" ma con l' alimentatore di prima non sentivo niente. Con questo nuovo sento la scossa. Quindi non dipende dalla terra, ma dall' alimentatore".
Una pensata del genere dipende, oltre che da fattori psicologici, dalla colossale ignoranza di qualsiasi nozione di elettrologia elementare; per chi ha un minimo di conoscenza è evidente che, se la terra è presente, la "scossa" non si sente neppure se ci fosse un condensatore di filtro in cortocircuito, perchè, appunto, la tensione sarebbe scaricata a terra (con tutte le conseguenze sull' impianto elettrico, salvavita, ecc).
La differenza tra i due alimentatori era dovuta esclusivamente al fatto che il primo era una porcheria cinese (come quella descritta nella sezione sugli alimentatori), con ben due (e soli) condensatori di filtro ridotti a 300pF, troppo piccoli per lasciare passare una corrente di rete sensibile; il secondo alimentatore era un modello di alta qualità, con un abbondante sistema di filtraggio, in cui la corrente verso terra può essere percepita da chi è molto sensibile (ma normalmente non la percepisce, perchè, appunto, va a terra attraverso il cavo di terra).
Oltre tutto, i suddetti condensatori del primo alimentatore non erano Y-Cap, ma due ceramici qualunque, per cui non esisteva alcuna sicurezza nel caso di perforazione dell' isolante, ponendo quindi l' utente in una situazione di grave rischio.
Se ci fosse stata la terra nell' impianto, non ci sarebbe stato alcun rischio o problema, oltre al fatto che l' alimentatore e il PC avrebbero funzionato nelle migliori condizioni.