A. Par jugement du 3 juin 2013, communiqué pour notification aux parties le 6 juin 2013, le Tribunal de première instance (ci-après : le Tribunal) a condamné B______ à verser à A______ un montant de 80'000 fr. avec intérêts à 5% l'an dès le 15 avril 2008 (ch. 1 du dispositif), a fait masse des dépens et les a compensés (ch. 2 et 3), déboutant les parties de toutes autres conclusions (ch. 4).

Le présent litige s'inscrit dans le cadre d'une demande en dommages-intérêts introduite par A______ contre B______ pour violation du contrat de mandat que le premier avait confié au second, lequel devait gérer, en sa qualité de fiduciaire professionnel, la comptabilité et les devoirs de son mandant envers les autorités fiscales (déclarations d'impôts, de TVA etc.) entre 1988 et 2006. B______ fait valoir, de façon reconventionnelle, des prétentions en paiement d'honoraires supplémentaires pour les années 2000 à 2006.

B. a. Par acte déposé au greffe de la Cour de justice le 8 juillet 2013, A______ appelle de ce jugement, concluant à l'annulation des chiffres 2, 3 et 4 de son dispositif. Cela fait, il reprend devant Cour ses conclusions de première instance tendant à la condamnation de B______ au paiement de 409'084 fr. et de 67'420 fr. 60 avec intérêt à 5% l'an dès le 12 octobre 2007 pour le dommage qu'il lui a causé en violant ses devoirs de mandataire, avec suite de frais judiciaires et de dépens de première instance et d'appel.

b. Par acte déposé au greffe de la Cour de justice le 5 juillet 2013, B______ appelle également de ce jugement, dont il sollicite l'annulation. Il conclut, sous suite de frais et dépens de première instance et d'appel, à ce que la Cour de céans lui donne acte de ce qu'il reconnaît devoir à A______, à titre de restitution d'un prêt, le montant de 80'000 fr. et les intérêts de 11'333 fr. tel que cela a été retenu par le premier juge (soit la confirmation du jugement sur ce point), à ce que la Cour condamne A______ à lui verser, après compensation des montants précités, un montant total de 208'800 fr. 72 avec intérêts à 5% l'an dès le 1^er mai 2009 (date moyenne), lequel est composé de 38'477 fr. 75 avec intérêts à 5% l'an dès le 1^er juin 2007 et de 261'656 fr. 30 avec intérêts à 5% l'an dès le 1^er mai 2009 (sous déduction de 91'333 fr.). B______ reprend ainsi ses conclusions de première instance, à l'exception de ses conclusions tendant au paiement de 6'456 fr. concernant la société D______.

c. A______ conclut à l'irrecevabilité de l'acte d'appel de B______, dès lors qu'il n'est pas signé, et subsidiairement, au déboutement, sous suite de frais et dépens, de ce dernier de toutes ses conclusions.

La Cour de céans a invité le conseil de B______ à venir signer l'acte d'appel au greffe de la Cour, afin de réparer le vice formel l'affectant au sens de l'art. 132 al. 1 CPC, ce que celui-ci a fait.

d. Dans une écriture de réplique, B______ conclut au déboutement d'A______ de toutes ses conclusions, niant sa responsabilité et soutenant que le dommage allégué par A______ n'a pas été démontré, la preuve du montant et du paiement des amendes n'ayant pas été apportée. Il conteste les erreurs commises dans les déclarations fiscales, jugeant les décisions de taxations viciées et contestables par le biais de recours.

C. La Cour retient les éléments pertinents suivants du dossier qui lui est soumis :

a. La famille d'A______ exploitait depuis 1976 une société dont la raison sociale était "E______" ayant pour but l'importation, l'exportation, l'achat et la vente d'articles de maroquinerie. Cette société a été dissoute le ______ 1996.

b. A______ a en sus commencé à exploiter avec son père F______ en 1987, une boutique de maroquinerie à la place G______ à Genève sous la forme d'une société en nom collectif à l'enseigne "H______". Cette société a été dissoute le ______ 1997 après le décès de F______.

c. En octobre 1988, A______ a également repris l'atelier familial de fabrication d'articles de maroquinerie, situé à la rue du Simplon à Genève, sous la forme d'une raison individuelle à son propre nom, soit "I______". Il exploite actuellement encore cet atelier.

d. En janvier 1998, A______ a ouvert un commerce d'articles de maroquinerie et d'accessoires en cuir à la J______ à Genève, sous la raison individuelle "H______", remplaçant les sociétés dissoutes en 1996 et 1997 (let. C. a et b supra).

e. B______ est un expert-comptable diplômé qui exploite depuis 1983 la raison individuelle "C______". Il est actif dans les domaines fiduciaire et de la révision de comptes, la tenue de la comptabilité, la constitution et la gestion de sociétés, les conseils en matière financière, commerciale et immobilière ainsi que dans l'expertise fiscale et économique.

f. A______ a pris contact avec B______ en 1988 et lui a confié la tâche d'établir la comptabilité des différentes entreprises familiales, les décomptes TVA et les déclarations d'impôts.

g. K______, alors épouse d'A______, s'occupait des tâches administratives relatives aux entreprises individuelles de son époux à mi-temps jusqu'au printemps 2002, payait ainsi les factures et les salaires, alors qu'il appartenait à B______ de saisir la comptabilité.

h. A______ s'est séparé de son épouse en janvier 1999, puis a divorcé en 2002. Jusqu'au printemps 2002, K______ a cependant continué à travailler pour son époux, puis a été remplacée par L______, la mère d'A______ (témoins K______ et L______).

i. Dans le cadre de son contrat, B______ se rendait au moins une fois par an, jusqu'en 2000, dans les bureaux d'A______ pour y établir les comptes et dresser les bilans. Il se fondait sur les documents mis à sa disposition dans lesdits bureaux et sur ceux que K______ lui envoyait parfois en cours d'année par fax. B______ travaillait seul et était très difficile à joindre pour K______, laquelle lui transmettait toujours les pièces nécessaires à l'établissement de la comptabilité et des déclarations d'impôts de son époux (témoin K______). B______ avait toujours du retard et demandait systématiquement des délais à l'Administration fiscale cantonale (ci-après : AFC) pour rendre les déclarations fiscales (témoins K______ et L______).

j. Dès 2000, B______ a cessé de se rendre dans les locaux d'A______ pour établir la comptabilité comme il le faisait jusqu'alors. Il n'a plus pris contact avec K______ ni n'a sollicité de pièces comptables (témoin K______).

Lorsque K______ a quitté son emploi au printemps 2002, B______ ne lui avait toujours pas remis le bilan de l'année 2000. Quand elle lui demandait où il en était, B______ lui indiquait qu'il "était dessus" et qu'il ne fallait pas qu'elle s'inquiète (témoin K______).

B______ a allégué qu'il avait appris que les époux A_______ et K_______ s'étaient séparés et qu'il avait pensé que K______ avait cessé de s'occuper du travail administratif de son époux.

k. A défaut d'avoir reçu la déclaration d'impôts d'A______ concernant la taxation de 2000, l'AFC l'a imposé d'office à hauteur de 3'499 fr. (ICC), sur la base d'un revenu imposable annuel de 25'000 fr.

Jugeant ce montant anormalement bas, A______ a fait part de son inquiétude à B______. Les parties divergent sur la teneur de leur discussion, A______ soutenant que B______ lui aurait assuré à cette occasion qu'une taxation d'office était avantageuse pour lui et légale, alors que ce dernier conteste avoir tenu ces propos et soutient qu'il a informé son client qu'il convenait d'établir la comptabilité manquante et l'a averti du fait qu'après deux taxations d'office, l'AFC allait effectuer un contrôle fiscal.

l. B______ a finalement repris contact avec L______ en juin 2002, reportant tout d'abord un rendez-vous, puis l'a vue au mois d'octobre 2002. Il devait établir la comptabilité manquante des années 2000 à 2002. L______ a fourni les pièces comptables utiles à B______ (témoins L______ et M______).

La communication entre L______ et B______ était bonne (témoin L______).

m. Dès 2003, B______ a sous-traité la tâche d'établir la comptabilité des sociétés d'A______ pour les années 2000 et suivantes à la société N______, soit pour elle à la comptable M______, laquelle a traité ce dossier entre 2002 et 2006. Elle a repris la comptabilité arrêtée "mi-1999 ou 2000" au moyen des pièces d'A______, qui étaient toutes à sa disposition et a dû rattraper trois an de retard. L______ était toujours disponible et répondait rapidement aux questions qu'elle lui posait pour établir la comptabilité. A______ et L______ souhaitaient uniquement que leur comptabilité soit tenue et ne cherchaient pas à limiter au maximum les charges fiscales, alors que B______ voulait faire passer des écritures concernant le divorce d'A______ ou l'activité de son ex-épouse dans la comptabilité relative à l'activité professionnelle de son mandant. M______ s'était "accrochée" avec B______ à ce sujet (témoin M______).

En 2007, B______ a sous-traité le même dossier à la fiduciaire O______. P______, comptable employé par cette société, a également travaillé sur le dossier A______. Il n'a pas eu de problème pour obtenir les documents nécessaires à l'établissement de la comptabilité mais ne s'était pas occupé du bilan ni de la déclaration fiscale 2007 (témoin P______).

n. L'AFC a notifié à A______ des bordereaux d'impôts provisoires pour les années 2001, 2002 et 2003, sur la base desquels A______ a payé des montants de, respectivement, 8'999 fr., 4'191 fr. et 4'760 fr. Il n'est pas établi sur quels chiffres l'AFC s'est fondée pour retenir ces montants.

o. Le 24 mars 2006, l'AFC a indiqué à A______ qu'elle ouvrait une procédure de rappel d'impôts cantonaux et communaux (ci-après : ICC) et fédéral direct (ci-après : IFD) portant sur les années 2001 et 2002.

p. Le 12 octobre 2007, elle a notifié à A______ des suppléments d'impôts IFD de 77'398 fr. majorés d'intérêts de retard de 12'726 fr. 60 pour l'année 2001 et des impôts ICC de 204'227 fr. 10 majorés de 27'394 fr. 50 d'intérêts pour la même année.

Elle a requis 72'779 fr. 85 supplémentaires, majorés d'intérêts de retard de 8'901 fr. 40 pour l'IFD 2002 et 191'041 fr. 95 majorés d'intérêts de 18'398 fr. 15 pour l'ICC 2002.

Le revenu net d'A______ retenu par l'AFC en 2001 était de 882'897 fr., alors que B______ avait indiqué, dans la comptabilité qu'il avait établie rétrospectivement, un montant de 646'769 fr. à ce titre. Les chiffres retenus pour l'année 2002 sont inconnus.

En sus, l'AFC a infligé à A______ une amende de 112'633 fr., correspondant à 0.75 fois le montant des IFD éludés en 2001 et 2002 (77'398 fr. + 72'779 fr. x 0.75), et une amende de 296'451 fr., correspondant à 0.75 fois le montant des ICC éludés en 2001 et 2002 (204'227 fr. 10 en 2001 et 191'041 fr. 95 x 0.75).

L'AFC a justifié les amendes par le fait qu'A______ s'était laissé taxer d'office sur un montant nettement inférieur à sa situation réelle et parce qu'elle avait constaté des irrégularités en relation avec l'admission des charges fiscalement déductibles dans le cadre de ses activités indépendantes. Il en résulte une soustraction d'impôt qui était due tout le moins à une négligence de sa part. La pénalité a été fixée à 0.75 fois le montant de l'impôt éludé.

q. L'AFC a réclamé à A______ un supplément d'impôts ICC et IFD pour les années 2001 à 2004 incluse de 1'504'999 fr.

Elle a retenu qu'A______ avait réalisé des revenus imposables de 977'974 fr. en 2003, de 1'579'452 fr. en 2004, de 773'010 fr. en 2005 et de 779'038 fr. en 2006, alors que B______ avait indiqué dans les comptes de son mandant concernant les mêmes années que ce dernier avait subi une perte de 139'076 fr. en 2003 et réalisé des revenus nets de 239'953 fr. en 2004, de 195'658 fr. en 2005 et de 269'509 fr. en 2006.

r. B______ n'ayant, à ses dires, jamais eu le temps d'envoyer des notes d'honoraires à A______ durant son mandat, appelait ce dernier lorsqu'il avait besoin d'un versement, ordinairement de 5'000 fr.

Le 24 avril 2007, il a pour la première fois adressé à son mandant des factures datées du 31 décembre de chaque année dès 2001 et les relevés de son activité et de ses honoraires et frais entre 1988 à 2006. Il a chiffré ses honoraires à 5'595 fr. en 2001, à 34'200 fr. en 2002, à 111'409 fr. 05 en 2003, 103'193 fr. 80 en 2004 (le travail de M______ lui avait été facturé 4'662 fr. 50), 49'022 fr. 55 en 2005 (le travail de M______ lui avait été facturé 2'985 fr.), 66'281 fr. 60 en 2006 (le travail de M______ lui avait été facturé 8'295 fr.), 66'749 fr. 10 en 2007 (le travail de la fiduciaire O______ lui avait été facturé 5'162 fr. 15).

Entre le 1^er janvier 1990 et le 31 décembre 2000, B______ a effectué 2'094,25 heures pour son mandat, soit 190 heures par année facturées entre 60 fr. et 190 fr. l'heure. Il a facturé rétroactivement ses honoraires au taux horaire de 140 fr. l'heure en 1988 et 1989, puis les a augmentés chaque année de 5 fr. par heure, sans explication, jusqu'à atteindre 225 fr. l'heure en 2003 et 2004.

La facture relative aux honoraires et frais de gestion pour l'année 2001 fait état de postes "envoi de la demande de délai à l'AFC au 31 août 2001", "demande de délai au 30.09.01 pour la déclaration GE 01-A", "photocopies pour la déclaration provisoire GE 01-A" et "établissement de la déclaration provisoire GE 01-A" pour un temps total consacré à cette tâche de trente minutes, et de l'examen des comptes des sociétés pour l'année 1998.

La facture du 31 décembre 2002 porte également sur l'examen et l'établissement des comptes 1998-1999 et la préparation du démarrage de la comptabilité 2000 et comporte un poste "gestion intégrale, dossier fiscal, administration, comptabilité" pour un temps total de deux heures.

La facture de 2003 porte sur l'activité de contrôle de la comptabilité de l'année 2000 et contient un poste "traitement de toutes les déclarations d'impôts reçues de Mme L______" et le relevé d'heures un poste "déplacement et établissement du projet de déclaration d'impôts Ge 02" pour une durée de six heures.

Le relevé pour l'année 2004 comporte des postes "déplacement et établissement de la déclaration d'impôts Ge", "déplacement et fin de l'établissement de la déclaration d'impôts Ge 03, mise en ordre des divers prêts UBS 03-04" et "établissement final de la déclaration d'impôts Ge 03, téléphone avec Mme L______" pour une durée de neuf heures et demie.

Les relevés d'activité pour les années suivantes font également expressément état de l'établissement de la déclaration fiscale d'A______, y compris, en 2006, de l'établissement des déclarations 2001 et 2002 pour un total de quatre heures.

s. A______ a accordé à B______ un prêt sans intérêts de 80'000 fr. en octobre 2006 et l'a dénoncé au remboursement le 5 mai 2008. B______, qui n'a jamais remboursé ce montant, admet être toujours débiteur de ce montant et des intérêts y relatifs, soit un montant de 91'333 fr. 33.

t. A______ a versé 185'000 fr. en tout à B______, et 145'000 fr. entre 2000 et la fin du mandat en 2006.

u. A______ a décidé dès le mois d'octobre 2007 de confier ses affaires à Q______, employé de la société R______. Celui-ci a constaté de grandes différences, oscillant entre 235'000 fr. et 1'340'000 fr., entre les revenus ressortant de la comptabilité et des déclarations fiscales établies par B______ et les éléments finalement retenus par l'AFC. Les déclarations fiscales n'avaient pas été remplies selon les règles "classiques" selon lui. Dans le but de rédiger une réclamation contre les décisions de l'AFC, Q______ a sollicité en vain que B______ lui remette toutes les pièces concernant A______. Ces pièces ont finalement été mises à sa disposition le 20 novembre 2007. Q______ a estimé que le dossier était relativement simple, puisqu'il s'agissait d'établir les états financiers et les déclarations fiscales, et a estimé les honoraires à 10'000 fr. ou à 12'000 fr. par année pour ces tâches. B______ a commis des erreurs importantes dans la comptabilité d'A______ répercutées ensuite dans les déclarations fiscales de celui-ci (témoin Q______).

A______ a informé B______ qu'il le tenait pour responsable du dommage subi du fait du mauvais établissement des comptes et déclarations fiscales qui ont conduit l'AFC à prononcer deux amendes et réclamer des intérêts moratoires. Il a contesté lui devoir des honoraires supplémentaires.

D. a. Par acte déposé au greffe du Tribunal le 5 octobre 2010, A______ a assigné B______ en paiement de 409'084 fr. avec intérêts à 5% dès le 12 octobre 2007, correspondant au montant des amendes fiscales et au montant de 67'420,60 pour les intérêts de retard dus à l'AFC dès le 12 octobre 2007 et 80'000 fr. avec intérêts à 5% dès le 15 avril 2008 en remboursement du prêt.

b. B______ s'est opposé à la demande, en faisant valoir qu'A______ était seul responsable de sa négligence et qu'il n'avait lui-même pas pu établir la comptabilité de celui-ci ni ses déclarations d'impôts entre 2000 et 2003. En effet, K______ n'avait procédé à aucune saisie régulière ni tenue de pièces comptables rendant impossible l'établissement des déclarations d'impôts par le mandataire. A la suite de cette période, A______ lui aurait demandé de reprendre le traitement de ses dossiers, ce qu'il aurait fait en recourant aux services de collaborateurs extérieurs à la société fiduciaire au vu de l'ampleur de la tâche. B______ a reconnu être débiteur du prêt de 80'000 fr.

Sur demande reconventionnelle, il a conclu à ce qu'il soit "constaté" qu'A______ était son débiteur à concurrence de 38'477 fr. 75 avec intérêts à 5% dès le 1er juin 2007 (pour les années 2001 et 2002), 261'656 fr. 30 avec intérêts à 5% dès le 1er mai 2009 (pour les années 2003 à 2007 sous déduction de 135'000 fr. déjà versés) et 6'456 fr. avec intérêts à 5% dès le 4 novembre 2008 (créance contre D______), et à ce qu'il soit condamné à lui verser 215'256 fr. 72 avec intérêts moyen au 1^er mai 2009, après compensation du montant de 91'333 fr. 33 correspondant au prêt et aux intérêts y relatifs. Il soutient que les paiements qu'il a reçu entre 1988 et 2006 ne constituaient que des acomptes et non des honoraires.

B______ faisait en outre valoir une créance pour l'activité qu'il avait déployée pour une société D______ de 6'456 fr., dont il ne se prévaut plus en appel.

c. A______ a conclu au rejet de la demande reconventionnelle en soutenant que c'était parce que B______ avait un retard considérable dans le suivi et l'exécution de son mandat qu'il avait omis de retourner les déclarations fiscales 2000, 2001-A et 2002 et qu'il avait totalement bâclé l'établissement des déclarations fiscales ultérieures. Ces manquements lui étaient entièrement imputables, K______ ayant poursuivi sa collaboration dans l'entreprise jusqu'au 31 mai 2002, sans que la procédure de divorce n'affecte la qualité et la rigueur de son travail. Lui-même avait acquitté pas moins de 30 demandes de provision de 5'000 fr. entre le 3 mars 2000 et le 15 août 2007, alors qu'il n'avait jamais été convenu qu'il acquitterait des frais supplémentaires. A titre de comparaison, il a cité la fiduciaire ayant repris l'activité de B______, laquelle facturait des honoraires de 17'398 fr. 95 pour l'année 2008, 9'684 fr. pour l'année 2009 et 6'635 fr. 60 pour l'année 2010. Il a, pour le surplus, contesté être débiteur de la note d'honoraire adressée à la société D______.

E. a. Dans ces écritures après enquêtes, B______ a fait valoir que la procédure ne permettait pas de savoir si A______ avait payé les amendes qui lui avaient été infligées ou s'il les avait contestées, précisant que la loi permettait de réduire l'amende au tiers du montant des impôts soustraits. Il a affirmé que les erreurs qu'il avait lui-même commises dans les déclarations fiscales de son mandant étaient faciles à constater pour un taxateur fiscal, de sorte qu'il jugeait que l'AFC avait fait preuve d'une "incompétence étonnante". Sa propre responsabilité n'était que partielle, A______ ne pouvant ignorer les chiffres erronés contenus dans les écritures comptables litigieuses et n'était pas déchargé de ses obligations et responsabilités fiscales.

Il invoquait en outre que l'action de son mandant était prescrite, cinq ans s'étant écoulés depuis les faits.

b. A______ (ci-après également : l'appelant) a contesté la prescription de sa créance et a souligné que B______ (ci-après également : l'intimé) avait réussi à lui dissimuler ses "carences" pendant des années jusqu'à ce qu'il les découvre en 2007, à réception des décisions de l'AFC. Il lui a reproché d'avoir dissimulé qu'il sous-traitait une partie de son activité à des tiers et refacturait les honoraires en les amplifiant de manière exorbitante. B______ avait été incapable de produire un quelconque échange de correspondance avec l'AFC, pas plus que la preuve des demandes qu'il lui aurait adressées afin d'obtenir les documents et informations nécessaires à l'accomplissement de sa tâche. La désorganisation régnant au sein de sa propre entreprise n'avait en revanche pas été démontrée par les enquêtes.

A______ a confirmé que son nouveau comptable, Q______, l'avait épaulé dans ses démarches auprès de l'AFC afin qu'une solution moins dommageable puisse être trouvée. Il n'a toutefois pas indiqué clairement si, et dans l'affirmative, dans quelle mesure, les amendes infligées avaient été réduites.

F. Dans le jugement querellé, le Tribunal a retenu que les précités avaient été liés, entre 1988 et 2006, par un contrat de mandat sur la base duquel B______ s'était obligé à établir, contre rémunération, les déclarations fiscales d'A______, titulaire de plusieurs entreprises en raison individuelle. A______ actionnait son mandataire en réparation du dommage qu'il lui avait causé, lequel se composait selon lui de deux amendes fiscales d'un montant total de 409'084 fr. et des intérêts de retard de 67'420 fr. 60 pour les années 2001 et 2002, dues à la violation fautive des devoirs de ses mandataire. Le premier juge a rejeté cette demande au motif que l'obligation d'établir la comptabilité incombait à A______, de sorte que ce n'était pas de la faute de B______ si celui-ci n'avait pas pu établir les déclarations fiscales de son mandant dans les délais pour ce faire et que des amendes et des intérêts moratoires étaient dus par celui-ci. Le Tribunal a admis que B______ avait violé son devoir de diligence et de fidélité en ne mettant pas en garde son mandant des conséquences d'une taxation d'office et du retard dans l'établissement de la comptabilité, mais a considéré qu'A______ avait lui-même commis une faute si importante en tardant à établir la comptabilité que celle-ci interrompait le lien de causalité entre le dommage subi par lui et la violation reprochée à B______. A______ s'était fautivement laissé taxer d'office en 2001 et connaissait le caractère erroné de la taxation d'office qui en avait découlé, de sorte qu'il était responsable de son dommage. Le premier juge a en revanche fait droit à la demande d'A______ portant sur le remboursement d'un prêt de 80'000 fr. avec intérêts dès le 15 avril 2008 (soit 91'333 fr. 33 en tout), que B______ admettait devoir lui rembourser.

Statuant sur la demande reconventionnelle de B______, le Tribunal l'a rejetée, jugeant que l'activité déployée par celui-ci "n'était pas exempte de critiques" et que rien ne justifiait qu'il obtienne des honoraires complémentaires à ceux déjà perçus pour son activité.

G. Les parties ont toutes deux fait appel de ce jugement. Leur argumentation devant la Cour sera reprise ci-après dans la mesure utile.